LSTM(Long Short Term Memory) - RNN 모델의 장기의존성 문제를 해결하기 위한 방안 - 기존 RNN 모델의 입출력이 각각 2개 였지만, LSTM을 추가하며 입출력이 각각 3개가 되었다. - 오래 가져가야하는 정보는 가져가고, 짧게 가져가야하는 정보는 뺀다.(컨베이어 벨트) LSTM 상세 구조 - LSTM(Long Short Term Memory)의 핵심 아이디어: Cell State - Cell state는 모델에 있어서 컨베이어 벨트와 같은 역할 - 각 step별로 입력되는 데이터와 달리, 모델의 전체 step에 걸쳐 정보 전달 - Forget gate, Input gate, Forget gate - 해당 step(t)에 입력된 데이터([h(t-1), X(t)] 중 잊어버려야 하..
RNN의 한계(장기의존성 문제 Long-term dependency) - 입력 데이터의 step이 길어질 경우, context에서 앞선 입력 데이터의 정보가 희미해지는 현상 - 근본적으로 Gradient Vanishing과 동일한 문제 - 입력 데이터의 step이 길어질수록 Fully Connected Layer를 깊게 쌓는 것과 동일한 문제 발생 장기의존성 예제 - Beverage from the Starbuck(스타벅스에서 파는 커피): 문장이 짧기 때문에, 스타벅스에서 커피를 예측할 수 있다. - I was born in Korea, my name is Cheol_Soo Kim, my height is 180, my weight is 80 kg, and I speak in my native lang..
# -*- coding: utf-8 -*- import matplotlib.pyplot as plt import tensorflow as tf from tensorflow.keras import layers, models from tensorflow.keras.datasets import imdb from tensorflow.keras.preprocessing import sequence print(tf.__version__) """ Input tensor와 Target tensor 준비(훈련 데이터) """ (input_train, y_train), (input_test, y_test) = imdb.load_data(num_words=10000) print(len(input_train)) # 25000..
https://www.codepresso.kr/course/61 이미지 데이터 처리를 위한 CNN 완벽 가이드 김지훈 강사 코드프레소 인공지능 대표 강사 전 LG CNS 데이터 엔지니어 전 Smilegate Stove 딥러닝 엔지니어 www.codepresso.kr * 배운 것 01 딥러닝 핵심 개념 02 TensorFlow 2.0 기초 개념 및 활용 03 TensorFlow High Level API의 활용 04 CNN 개념 이해 및 실습 05 모델 Fine Tunning 및 Data Augmentation 드디어 코드프레소의 "이미지 데이터 처리를 위한 CNN 완벽 가이드"를 완강했다. 코드프레소 체험단 중 인공지능 트랙에서 가장 길었던 총 5시간 22분 분량의 본 강의는 알찼고, 중간중간 실습이 많..
https://insengnewbie.tistory.com/215 이미지 데이터 처리를 위한 CNN 완벽 가이드 - Transfer Learning 사전 학습된 CNN(특성 추출)을 이용한 학습 - 작은 데이터셋에 딥러닝을 적용하는 가장 효과적인 방법은 사전 학습된 모델 사용 - 새로운 문제가 학습된 데이터와 큰 차이가 있더라도 많은 비 insengnewbie.tistory.com 전이학습은 특정 도메일 데이터를 분석하는데 좋은 성능을 발휘하는 최신 딥러닝 모델에 수천 만 건의 데이터를 학습시킨 모델을 가져다가 우리의 문제에 적용하는 기술이다. 전이 학습은 가장 성능이 좋은 모델, 그리고 방대한 양의 데이터의 학습이라는 두가지 장점을 쉽고 편하게 사용하여 딥러닝 기술의 확산에 큰 기여를 하였다. Tens..
