시계열 데이터 처리를 위한 RNN 완벽 가이드 - RNN 모델의 한계와 장기의존성 문제

RNN의 한계(장기의존성 문제 Long-term dependency)

 - 입력 데이터의 step이 길어질 경우, context에서 앞선 입력 데이터의 정보가 희미해지는 현상

 - 근본적으로 Gradient Vanishing과 동일한 문제

 - 입력 데이터의 step이 길어질수록 Fully Connected Layer를 깊게 쌓는 것과 동일한 문제 발생

장기의존성 문제

 

 

장기의존성 예제

 - Beverage from the Starbuck(스타벅스에서 파는 커피): 문장이 짧기 때문에, 스타벅스에서 커피를 예측할 수 있다.

 - I was born in Korea, my name is Cheol_Soo Kim, my height is 180, my weight is 80 kg, and I speak in my native language.(나는 한국에서 태어났으며, 이름은 김철수이고, 키는 180이며, 몸무게는 80킬로이고, 모국어로 말을 한다.): 문자이 길기 때문에, 한국에서 모국어인 한국어를 예측하기 힘들다.

 

 

장기의존성을 해결하기 위한 방안

 - LSTM

LSTM

 - GRU

GRU