딥러닝 첫 걸음 시작하기! - 딥러닝의 태동과 퍼셉트론

인공신경망(1943)

 - 인간의 뇌를 수학적으로 모델링할 수 있을 것이라는 아이디어에서 시작.

 - 인간의 뇌를 수학 모델이 복잡하게 연결된 네트워크로 표현할 수 있다고 제안.

 

퍼셉트론(1957)

 - 뇌의 기본 단위인 뉴런을 모방.

 - 입력 신호에 따라 0 또는 1을 출력.

 

딥러닝(Deep Learning)

 - 인공신경망을 많은 층으로 깊게 쌓은 모델이 DNN(Deep Neural Network).

 - DNN 모델을 마케팅 용어로 만든 것이 딥러닝이다.

 

 

퍼셉트론은 y = ax + b 수식으로 모델링된 선형 분류기.

퍼셉트론은 선형 분류기로써 AND, OR 연산에 대한 학습이 가능.

그러나 선형분류기는 XOR 문제를 해결하지 못함.

 

1969년 MIT AI Lab의 설립자 Minsky는 논문(Perceptrons)에서 단층 퍼셉트론으로 XOR 문제를 해결하는 것이 불가능함을 증명했다. 그 이후 신경망에 대한 관심이 급속도로 줄어들며, 딥러닝의 첫 번째 빙하기가 도래했다.

 

-> 다층 퍼셉트론(Multi layer)으로 해결할 수 없나?

: 수많은 기울기 값과 편향 값을 찾을 수 있는 적절한 방법이 없었음.

 

Paul Werbos는 1974년 딥러닝 역사에 한 획을 그을만한 역정파법을 고안했다.

 - 복잡한 수식의 미분을 쉽게 할 수 있는 수학 기법.

 - 수많은 가중치 값과 편향 값으로 이루어져 있는 다층 퍼셉트론에 적합.

 - 그러나, 딥러닝 기술에 대한 관심이 적어 역전파가 적용되지 못함.

 

오차역전파 알고리즘의 개발(1986)

 - Geoffrey Hinton 교수가 다층 퍼셉트론의 학습에 역전파를 적용.

 - 이 방법이 다층 퍼셉트론을 이용해 XOR 문제를 학습할 수 있음을 보임.

 - 이후, 한 동안 다시 관심을 받으며 연구가 진행됨.

 

두 번째 빙하기(1969-2012)

 - 네트워크의 깊이가 깊어질수록 학습이 잘 되지 않음.

 - 뉴럴 네트워크의 초기 값에 대한 이론적 근거가 부족함.

 - 인공신경망을 대체할 만한, SVM 등 단순하면서 성능이 뛰어난 머신러닝 알고리즘 등장.

 - 인공신경망 학습에 필요한 양의 데이터 처리 기술 부족.

 - 컴퓨팅 성능의 부족.

 

딥러닝의 부활(2012)

 - 2012년부터 Hadoop 이라는 기술이 등장하면서, 사람이 처리할 수 있는 데이터가 폭발적으로 증가했다.

 - GPU 등 컴퓨팅 파워의 고속화

 - 딥러닝 알고리즘의 발전

-> 기울기 소실(Vanishing Gradient) 문제의 해결책 발견 : ReLU Function, Batch Normalization

-> 경사하강법 등 최적화 알고리즘의 발견

 

뉴런(Perceptron)

 - 가중치[W] : 입력 신호가 결과에 주는 영향력을 조절하는 변수.

 - 편향[b] : 퍼셉트론이 얼마나 쉽게 활성화하느냐를 조정하는 변수.

 - 활성화 함수[f(x)] : 입력 신호의 총합을 확인해 출력 신호를 결정하는 함수.

 

다층 퍼셉트론(Multi Layer Perceptron)

 - 입력층, 은닉층, 출력층으로 이루어진 인공신경망.