순환 신경망 (3) 썸네일형 리스트형 [딥러닝/DL]9. LSTM과 GRU 셀 Pupbani는 저번에 만든 순환 신경망의 성능을 더 끌어 올리기 위한 방법을 찾던 중 LSTM과 GRU 셀을 알게 되었다. Pupbani는 이것들을 사용해 순환 신경망 모델을 만들어보려고 한다. LSTM 구조 LSTM(Long Short-Term Memory)는 단기 기억을 오래 기억하기 위해 고안되었다. LSTM은 구조가 복잡하므로 딘계적으로 따라가보자. 은닉상태 만들기 입력과 이전 타임스텝의 은닉 상태를 가중치에 곱한 후 활성화 함수를 통과 시켜 다음 은닉 상태를 만든다. 이 때 기본 순환층과 달리 "Sigmoid" 함수를 활성화 함수로 사용한다. 이 그림에서는 가중치 wx와 wh를 통틀어 wo(입력과 은닉상태를 가중치에 곱한 값)라고 부른다. 파란색 원은 tanh 함수, 빨간색 원은 시그모이드 함.. [딥러닝/DL]8. 순환 신경망으로 IMDB리뷰 분류하기 이전 글에서는 순환 신경망의 개념과 동작 원리를 알아봤다. 이제 이 순환 신경망을 사용해 IMDB리뷰 데이터를 분류해보자. ※ 자연어 처리(NLP,Natural Language Processing) 컴퓨터를 사용해 인간의 언어를 처리하는 분야이다. 대표적으로 음성 인식, 기계 번역, 감성 분성(IMDB리뷰 분석) 등이 있다. 훈련 데이터를 종종 말뭉치(corpus)라고 부른다. IMDB리뷰 데이터 세트 유명한 인터넷 영화 DB인 imdb.com에서 수집한 리뷰를 감상평에 따라 긍정/부정으로 분류해 놓은 데이터 셋이다. 총 50,000개의 샘플로 이루어져 있다. 훈련/테스트 세트 데이터는 각각 25,000개씩 나누어져 있다. 긍정/부정 리뷰 데이터는 각각 25,000개씩 나누어져 있다. 신경망에 텍스트를 .. [딥러닝/DL]7. 순차 데이터와 순환 신경망 마케팅 팀장은 이번 이벤트의 후기를 분석하려고 했다. 하지만 너무 많은 양이라 할 엄두가 나지 않았다. 그래서 Pupbani를 불러 "후기 댓글들을 분석해 긍정, 부정을 판단할 수 없을까?"라고 했다. Pupbani는 전에 배운 순환 신경망이 떠올라 알겠다고 대답한 후 자신의 자리로 돌아 갔다. 순차 데이터 순차 데이터(sequential data)는 텍스트나 시계열 데이터(time series data)와 같이 순서에 의미가 있는 데이터를 말한다. 우리가 여태까지 사용했던 데이터는 순서에 상관이 없었기에 골고루 섞어서 사용하기도 했다. 하지만 순차 데이터는 순서를 유지 하면서 신경망에 넣어야하기 때문에 까다롭다. 그래서 순차 데이터를 사용하기 위해서는 이전에 입력한 데이터를 기억하는 기능이 필요하다. .. 이전 1 다음
