GRU(Gated Recurrent Units)
- RNN 모델의 장기의존성 문제를 해결하기 위한 방안
- LSTM 모델의 컨셉을 단순화시킨 모델
GRU 상세 구조
- GRU(Gated Recurrent Units)의 핵심 아이디어: Update Gate
- Update Gate의 결과가 1이면 input gate 활성화, 0이면 forget gate 활성화
- 2개의 context([c(t), h(t)])가 h(t) 하나로 합쳐짐
- LSTM보다 학습 속도가 빠르고, 비슷한 수준의 성능을 보임
- Forget gate, Input gate
Reset gate
- 이전 step에서 전달된 context(h(t-1))에서 필요없는 정보를 초기화
Update gate
- LSTM 모델의 Input gate와 Forget gate를 하나로 결합
- Update gate의 결과인 z(t)값이 1이면 Input, 0이면 Forget gate 활성
Candidate
- Reset gate를 거친 context(h(t-1) * r(t))와 해당 step의 input(x(t))를 분석하여 해당 step 후보 정보(~h(t)) 생성
Output
- context 정보(h(t-1))와 Candidate 정보(~h(t))에 Update gate를 적용한 값들([h(t-1) * (1 - z(t)), h(t) * z(t)])를 더하여, 다음 step으로 전달할 context(h(t)) 생성
'프로젝트 > 코드프레소 체험단' 카테고리의 다른 글
| 시계열 데이터 처리를 위한 RNN 완벽 가이드 - 적층 LSTM 모델을 이용한 영화리뷰 데이터셋 분류 모델 구현 (0) | 2022.03.27 |
|---|---|
| 시계열 데이터 처리를 위한 RNN 완벽 가이드 - LSTM 모델을 이용한 영화리뷰 데이터셋 분류 모델 구현 (0) | 2022.03.26 |
| 시계열 데이터 처리를 위한 RNN 완벽 가이드 - LSTM 모델 (0) | 2022.03.21 |
| 시계열 데이터 처리를 위한 RNN 완벽 가이드 - RNN 모델의 한계와 장기의존성 문제 (0) | 2022.03.21 |
| 시계열 데이터 처리를 위한 RNN 완벽 가이드 - 영화리뷰 데이터셋 분류 모델 구현 (0) | 2022.03.20 |
