GRU(Gated Recurrent Units) - RNN 모델의 장기의존성 문제를 해결하기 위한 방안 - LSTM 모델의 컨셉을 단순화시킨 모델 GRU 상세 구조 - GRU(Gated Recurrent Units)의 핵심 아이디어: Update Gate - Update Gate의 결과가 1이면 input gate 활성화, 0이면 forget gate 활성화 - 2개의 context([c(t), h(t)])가 h(t) 하나로 합쳐짐 - LSTM보다 학습 속도가 빠르고, 비슷한 수준의 성능을 보임 - Forget gate, Input gate Reset gate - 이전 step에서 전달된 context(h(t-1))에서 필요없는 정보를 초기화 Update gate - LSTM 모델의 Input gate와..
LSTM(Long Short Term Memory) - RNN 모델의 장기의존성 문제를 해결하기 위한 방안 - 기존 RNN 모델의 입출력이 각각 2개 였지만, LSTM을 추가하며 입출력이 각각 3개가 되었다. - 오래 가져가야하는 정보는 가져가고, 짧게 가져가야하는 정보는 뺀다.(컨베이어 벨트) LSTM 상세 구조 - LSTM(Long Short Term Memory)의 핵심 아이디어: Cell State - Cell state는 모델에 있어서 컨베이어 벨트와 같은 역할 - 각 step별로 입력되는 데이터와 달리, 모델의 전체 step에 걸쳐 정보 전달 - Forget gate, Input gate, Forget gate - 해당 step(t)에 입력된 데이터([h(t-1), X(t)] 중 잊어버려야 하..
RNN의 한계(장기의존성 문제 Long-term dependency) - 입력 데이터의 step이 길어질 경우, context에서 앞선 입력 데이터의 정보가 희미해지는 현상 - 근본적으로 Gradient Vanishing과 동일한 문제 - 입력 데이터의 step이 길어질수록 Fully Connected Layer를 깊게 쌓는 것과 동일한 문제 발생 장기의존성 예제 - Beverage from the Starbuck(스타벅스에서 파는 커피): 문장이 짧기 때문에, 스타벅스에서 커피를 예측할 수 있다. - I was born in Korea, my name is Cheol_Soo Kim, my height is 180, my weight is 80 kg, and I speak in my native lang..
# -*- coding: utf-8 -*- import matplotlib.pyplot as plt import tensorflow as tf from tensorflow.keras import layers, models from tensorflow.keras.datasets import imdb from tensorflow.keras.preprocessing import sequence print(tf.__version__) """ Input tensor와 Target tensor 준비(훈련 데이터) """ (input_train, y_train), (input_test, y_test) = imdb.load_data(num_words=10000) print(len(input_train)) # 25000..
tensorflow.keras.layers.SimpleRNN( units, activation='tanh', return_sequences=False, return_state=False, **kwargs ) ''' units : 퍼셉트론의 개수 activation : 활성화 함수, default는 tanh return_sequences : True면, 매 step마다 output을 출력하게 해준다. 하나의 층이 아닌, 여러 층의 모델을 만들려면 True로 설정, default는 False return_state : Trus면, 다음 layer로 output을 전달할 뿐만 아니라, 사용자가 따로 값을 쓸 수 있도록 출력, default는 False ''' * layer를 생성한 후에는 CNN 모델처럼 mo..
RNN(Recurrent Neutal Network) - 기존 모델들은 연속적인 데이터가 아닌 현재의 Snap Shot만을 분석 - 순서가 있는 연속적인 데이터들 간의 관계를 효과적으로 분석하지 못함 - RNN은 데이터 분석에 시간적인 측면을 가미 - 이전 데이터와 나중 데이터 간의 관계를 효과적으로 분석 - RNN은 연속적인 데이터를 분석하는데에 최적화된 모델 RNN의 적용 분야 - Sequential 데이터를 분석하는데 사용 - 자연어 처리, 문장 처리 - 음성 처리 - 시간에 따른 센서 데이터 처리 - 주가, 부동산 데이터 처리 RNN의 주요 키워드 1. 시간(timestep) - RNN의 데이터는 시간 순서대로 입력 - 과거의 데이터가 미래의 데이터 분석에 영향을 줄 수 있음 2. 기억(conte..
https://www.codepresso.kr/course/61 이미지 데이터 처리를 위한 CNN 완벽 가이드 김지훈 강사 코드프레소 인공지능 대표 강사 전 LG CNS 데이터 엔지니어 전 Smilegate Stove 딥러닝 엔지니어 www.codepresso.kr * 배운 것 01 딥러닝 핵심 개념 02 TensorFlow 2.0 기초 개념 및 활용 03 TensorFlow High Level API의 활용 04 CNN 개념 이해 및 실습 05 모델 Fine Tunning 및 Data Augmentation 드디어 코드프레소의 "이미지 데이터 처리를 위한 CNN 완벽 가이드"를 완강했다. 코드프레소 체험단 중 인공지능 트랙에서 가장 길었던 총 5시간 22분 분량의 본 강의는 알찼고, 중간중간 실습이 많..
https://insengnewbie.tistory.com/215 이미지 데이터 처리를 위한 CNN 완벽 가이드 - Transfer Learning 사전 학습된 CNN(특성 추출)을 이용한 학습 - 작은 데이터셋에 딥러닝을 적용하는 가장 효과적인 방법은 사전 학습된 모델 사용 - 새로운 문제가 학습된 데이터와 큰 차이가 있더라도 많은 비 insengnewbie.tistory.com 전이학습은 특정 도메일 데이터를 분석하는데 좋은 성능을 발휘하는 최신 딥러닝 모델에 수천 만 건의 데이터를 학습시킨 모델을 가져다가 우리의 문제에 적용하는 기술이다. 전이 학습은 가장 성능이 좋은 모델, 그리고 방대한 양의 데이터의 학습이라는 두가지 장점을 쉽고 편하게 사용하여 딥러닝 기술의 확산에 큰 기여를 하였다. Tens..
https://insengnewbie.tistory.com/214 이미지 데이터 처리를 위한 CNN 완벽 가이드 - DataAugmentation overfitting - train 데이터가 실제 부딪힐 수 있는 모든 상황의 데이터를 갖지 못해 발생 Augmentation : 기존의 이미지 데이터를 조금 변형시키는 것 - train 데이터에 약간의 변형을 가해, 데이터의 분 insengnewbie.tistory.com 실무에서 딥러닝 모델을 이용하여 문제를 풀 경우 overfitting 문제에 봉착하는 경우가 많다. overfitting 을 해결하는 가장 완벽한 방법은 더 많은 그리고 더 다양한 데이터 셋을 모아 딥러닝 모델을 학습하는 것이다. 하지만 실무에서는 더 많은 데이터를 수집하는데 에는 한계가 ..
사전 학습된 CNN(특성 추출)을 이용한 학습 - 작은 데이터셋에 딥러닝을 적용하는 가장 효과적인 방법은 사전 학습된 모델 사용 - 새로운 문제가 학습된 데이터와 큰 차이가 있더라도 많은 비전 문제에 유용 - 사전 학습된 모델(VGG16)을 이용하여 작은 데이터셋을 통한 학습을 진행 - 특성 추출(Feature Extraction) : 사전에 학습된 네트워크의 표현을 사용해 새로운 샘플에서 중요한 특성을 뽑아내는 것 Transfer Learning(전이 학습) - Fine Tunning(미세조정)이라고도 부름 - 사전에 학습된 네트워크에서 뽑아낸 특성을 사용하여 분류기 부분만 처음부터 훈련 - 특성 추출 모듈의 필터에 학습된 표현은 일반적이어서 재사용 가능 - 합성곱 층에서 추출한 표현의 일반성(재사용성..
