파이썬으로 구현하는 머신러닝 : 회귀분석 - 규제의 이해

규제(Regularization)의 이해

 

머신러닝의 목표

 - 과대적합(Overfitting)을 줄이면서 일반성을 가지는 모델의 생성

-> 규제 기법을 사용하여 모델의 복잡도를 낮춘다.

 

과대적합이 발생하는 이유

 - 최적의 계수를 찾기 위해, 손실함수의 갑을 최소화시키기위해, 학습데이터셋에 모델이 맞춰질 수 밖에 없다.

 

규제의 이해

 - 규제 회귀(Regularized Regression), 벌점화 회귀(Penalized Regression)

 - 손실함수 최소화되는 모델을 만들면서, 모델의 overfitting을 최소화하는 기법

-> RSS + Penalty(회귀계수에 대한 패널티)

 - 규제란, 회귀계수 값을 감소시켜 과대적합을 개선하는 방식

 

과대적합의 최소화

 - 독립변수 별 영향력(회귀계수)을 줄이거나, 0으로 입력해 불필요한 feature를 제거한다.

 

---

규제 기법의 페널티

규제 기법의 종류

 - 릿지(Ridge Regression)

 - 라쏘(Lasso Regression)

 - 엘라스틱 넷(Elastic Net)

 - Etc.

 

릿지 회귀(Ridge Regression)

 - 회귀계수의 제곱 값에 패널티를 부여하는 방식

 - 회귀계수 값의 크기를 감소시켜 과적합을 개선

 - L2규제라고도 함

릿지 회귀(Ridge Regression) - 규제 기법

라쏘 회귀(Lasso Regression)

 - 회귀계수의 절대값에 페널티를 부여하는 방식

 - 불필요한 회귀계수를 0에 근사하도록 만들어 과대적합 개선

 - Feature Selection의 목적으로 사용

 - L1규제라고도 함

 

라쏘 회귀(Lasso Regression) - 규제 기법