딥러닝 첫 걸음 시작하기! - 딥러닝 모델의 핵심 개념

깊은 층(Deep Layer)

 - 층을 깊게 할수록 더 복잡한 문제에 대해서 대응 가능.

 - 이전층에서 학습한 특징을 조합하여 더 높은 차원의 문제에 대응.

 

비선형성(Non-Linearity)

 - 선형 함수(y = ax + b)는 여러번 연산(결합)해도 선형성을 갖음.

 - 비선형성을 추가하면 여러번 연산(결합) 시, 더 복잡한 문제를 해결할 수 있음.

 

활성화 함수(Activation Function)

 - 선형 함수의 결과에 활성함수를 이용하여 비선형성을 확보.

 - 활성함수 : Step function, Sigmoid, ReLU, Than, etx.

 

최적화(Optimization)

 - 문제를 풀기 위한 최적의 가중치를 찾아가는 과정.

 - 사람이 지식을 습득하는 과정과 유사해 학습(Learning)이라고 함.

 

손실 함수(Loss Function)

 - 딥러닝 모델 학습 시, 학습의 지표가 되는 함수.

 - 모델의 추론 결과와 실제 정답 간의 차이를 의미하는 함수.

 - 목적 함수(Objective function), 비용 함수(Cost function)라고도 부름.

 - ex) 평균 제곱 오차(MSE, Mean Square Error), etc.

 

오차역전파법(Back Propagation)

 - 가중치의 변화에 따른 오차(Error, 손실함수의 값)의 변화를 기울기 형태로 계산.

 - 예측을 수행한 모델의 모든 가중치들에 대하여 미분을 통해 기울기 계산.

 - 계산그래프 방식을 이용하여 각 가중치의 오차에 대한 기울기를 계산.

 

경사하강법(Gradient Descent)

 - 정답과 추론값의 차이를 줄이기 위해, 가중치 값을 업데이트하는 전략.

 - 오차역전파를 통해 계산한 미분(가중치와 손실 함수 간의 영향도)값을 이용.

 - 기울기를 방향삼아 기울기가 0이 되는 지점을 향해 가중치 값을 업데이트.