Attention Function (1) 썸네일형 리스트형 [딥러닝/DL] Attention Attention을 알기위해서는 seq2seq model에 대해 알아야한다. seq2seq(Sequence-to-Sequence) Model 한 시퀀스를 다른 시퀀스로 변환 하는 작업을 수행하는 딥러닝 모델로 주로 NLP 분야에서 활용된다. 이 모델은 Encoder와 Decoder라는 모듈을 가지고 있다. 이 두 모듈이 협력하여 입력 시퀀스를 원하는 출력 시퀀스로 변환한다. Encoder 일반적으로 RNN, LSTM, GRU 등의 순환 신경망 구조를 사용하여 입력 시퀀스를 고정 길이의 벡터로 변환하는 역할을 수행한다. Encoder는 입력 시퀀스의 단어를 순차적으로 처리하면서 각 단계에서 hidden state를 업데이트하고, 최종적으로 전체 입력 시퀀스를 대표하는 고정 길이의 벡터를 생성한다. 임의의 .. 이전 1 다음
