GRU (1) 썸네일형 리스트형 [딥러닝/DL]9. LSTM과 GRU 셀 Pupbani는 저번에 만든 순환 신경망의 성능을 더 끌어 올리기 위한 방법을 찾던 중 LSTM과 GRU 셀을 알게 되었다. Pupbani는 이것들을 사용해 순환 신경망 모델을 만들어보려고 한다. LSTM 구조 LSTM(Long Short-Term Memory)는 단기 기억을 오래 기억하기 위해 고안되었다. LSTM은 구조가 복잡하므로 딘계적으로 따라가보자. 은닉상태 만들기 입력과 이전 타임스텝의 은닉 상태를 가중치에 곱한 후 활성화 함수를 통과 시켜 다음 은닉 상태를 만든다. 이 때 기본 순환층과 달리 "Sigmoid" 함수를 활성화 함수로 사용한다. 이 그림에서는 가중치 wx와 wh를 통틀어 wo(입력과 은닉상태를 가중치에 곱한 값)라고 부른다. 파란색 원은 tanh 함수, 빨간색 원은 시그모이드 함.. 이전 1 다음
