파이썬으로 구현하는 머신러닝 : 비지도학습 - 선형판별분석(LDA)의 개념

선형판별분석(Linear Discriminant Analysis, LDA)

- 두 개 이상의 모집단에서 표집된 표본들의 데이터분포를 이용하여 이 표본들이 어느 모집단에서 추출된 것인지 분류 예측을 할 수 있도록 기준을 찾는 분석법

 - 지도학습

 - PCA처럼 차원을 축소시키는 알고리즘이다.

 

PCA와 LDA

 * 주성분분석과 선형판별분석의 차이

 - PCA : 분산을 최대화시키는 요소(고유벡터)를 찾는다.

 - LDA : 클래스 분리를 위해 요소(클래스 평균값간의 거리)를 최대화시키고, 요소(겹치는 오류)를 최소화시킨다.

 

선형판별식

 - 집단을 구분할 수 있는 독립(설명)변수를 통하여 집단 구분 함수식(판별식)을 도출하고, 소속된 집단을 예측하는 것이 목적

 - LDA를 하기 위해선, 선형판별식이 도출되어야 한다.

 - 두 개 이상의 집단을 구분하는데 있어, 분류 오류를 최소화할 수 있는 독립변수들의 함수적인 선형결합(Linear Combination)

 

==> LDA란?

개별 독립 변수들의 조합으로, 주어진 집단을 효과적으로 분류할 수 있는 새로운 가상의 축을 생성하는 과정

선형판별식

 

선형판별분석 제약조건

 - 종속변수가 범주형 데이터, 독립변수의 척도가 등간이나 비율척도

 - 독립변수는 정규분포를 따라야 함

 - 종속변수와 독립변수는 상관관계를 가져야 함

 - 독립변수들 사이에 상관관계는 없거나 매우 작아야 함

 - 종속변수로 구분되는 각 집단 별 공분산 행렬이 유사해야 함

 

선형판별분석의 팁

 - 분류하고자 하는 두 범주의 중심(평균)이 서로 멀수록 좋다

 - 분류하고자 하는 두 범주의 분산이 작을수록 좋다