# -*- coding: utf-8 -*- import matplotlib.pyplot as plt import tensorflow as tf from tensorflow.keras import layers, models from tensorflow.keras.datasets import imdb from tensorflow.keras.preprocessing import sequence print(tf.__version__) """ Input tensor와 Target tensor 준비(훈련 데이터) """ # imdb의 빈도수 기준으로 상위 10000개의 데이터를 load함. (input_train, y_train), (input_test, y_test) = imdb.load_data(num_word..

# -*- coding: utf-8 -*- import matplotlib.pyplot as plt import tensorflow as tf from tensorflow.keras import layers, models from tensorflow.keras.datasets import imdb from tensorflow.keras.preprocessing import sequence print(tf.__version__) """ Input tensor와 Target tensor 준비(훈련 데이터) """ # imdb의 빈도수 기준으로 상위 10000개의 데이터를 load함. (input_train, y_train), (input_test, y_test) = imdb.load_data(num_word..

https://insengnewbie.tistory.com/221 시계열 데이터 처리를 위한 RNN 완벽 가이드 - 영화리뷰 데이터셋 분류 모델 구현 # -*- coding: utf-8 -*- import matplotlib.pyplot as plt import tensorflow as tf from tensorflow.keras import layers, models from tensorflow.keras.datasets import imdb from tensorflow.keras.preproce.. insengnewbie.tistory.com * RNN 모델의 성능 개선을 위한 LSTM 모델을 사용함. # -*- coding: utf-8 -*- import matplotlib.pyplot as plt..

GRU(Gated Recurrent Units) - RNN 모델의 장기의존성 문제를 해결하기 위한 방안 - LSTM 모델의 컨셉을 단순화시킨 모델 GRU 상세 구조 - GRU(Gated Recurrent Units)의 핵심 아이디어: Update Gate - Update Gate의 결과가 1이면 input gate 활성화, 0이면 forget gate 활성화 - 2개의 context([c(t), h(t)])가 h(t) 하나로 합쳐짐 - LSTM보다 학습 속도가 빠르고, 비슷한 수준의 성능을 보임 - Forget gate, Input gate Reset gate - 이전 step에서 전달된 context(h(t-1))에서 필요없는 정보를 초기화 Update gate - LSTM 모델의 Input gate와..

LSTM(Long Short Term Memory) - RNN 모델의 장기의존성 문제를 해결하기 위한 방안 - 기존 RNN 모델의 입출력이 각각 2개 였지만, LSTM을 추가하며 입출력이 각각 3개가 되었다. - 오래 가져가야하는 정보는 가져가고, 짧게 가져가야하는 정보는 뺀다.(컨베이어 벨트) LSTM 상세 구조 - LSTM(Long Short Term Memory)의 핵심 아이디어: Cell State - Cell state는 모델에 있어서 컨베이어 벨트와 같은 역할 - 각 step별로 입력되는 데이터와 달리, 모델의 전체 step에 걸쳐 정보 전달 - Forget gate, Input gate, Forget gate - 해당 step(t)에 입력된 데이터([h(t-1), X(t)] 중 잊어버려야 하..

RNN의 한계(장기의존성 문제 Long-term dependency) - 입력 데이터의 step이 길어질 경우, context에서 앞선 입력 데이터의 정보가 희미해지는 현상 - 근본적으로 Gradient Vanishing과 동일한 문제 - 입력 데이터의 step이 길어질수록 Fully Connected Layer를 깊게 쌓는 것과 동일한 문제 발생 장기의존성 예제 - Beverage from the Starbuck(스타벅스에서 파는 커피): 문장이 짧기 때문에, 스타벅스에서 커피를 예측할 수 있다. - I was born in Korea, my name is Cheol_Soo Kim, my height is 180, my weight is 80 kg, and I speak in my native lang..