Decision Tree 모델의 학습
- Decision Tree의 학습은 적절한 질문을 고르는 것이 중요.(스무고개의 경우에도 좋은 질문을 먼저 던질수록 유리함.)
- 정상/비만을 분류하는 모델을 만들기 위해선,
운동 여부, 음주 여부, 식사 회수는 중요한 질문이지만, 독서 여부는 중요하지 않은 질문이다.
- 성별을 분류하는 모델을 만들기 위해서는,
키, 몸무게, 신발 사이즈, 머리카락 길이는 중요한 질문이지만, 나이, IQ, 거주도시는 중요하지 않은 질문이다.
Decision Tree는 어떤 기준으로 질문을 선택할까?
- 다음 단계 노드들의 순도가 높아지도록
- 다음 단계 노드들의 불순도가 낮아지도록
- 다음 단계 노드들의 정보 획득이 높아지도록
불순도와 엔트로피
- Gini 계수와 Entropy 계수를 통해 불순도를 계산해낼 수 있다.
Decision Tree 모델의 학습2
- 모든 Feature들에 대해서 바로 다음 단계 불순도, 엔트로피 계산
- 불순도, 엔트로피가 가장 낮아지는 Feature 선택
- 모든 Leaf 노드들의 Impurity가 0이 될 때까지 반복
* 학습된 Decision Tree 모델은 Feature들의 중요도 정보를 포함하고 있음.
'프로젝트 > 코드프레소 체험단' 카테고리의 다른 글
| 파이썬으로 구현하는 머신러닝 : 트리모델 - 앙상블 기법의 개념 (0) | 2022.02.09 |
|---|---|
| 파이썬으로 구현하는 머신러닝 : 트리모델 - Decision Tree의 특징 (0) | 2022.02.09 |
| 파이썬으로 구현하는 머신러닝 : 트리모델 - 지도학습을 위한 트리모델 (0) | 2022.02.09 |
| 파이썬으로 구현하는 머신러닝 : 분류분석 - ROC 커브와 AUC 실습 (0) | 2022.01.23 |
| 파이썬으로 구현하는 머신러닝 : 분류분석 - AUC 지표를 통한 모델 성능분석 (0) | 2022.01.23 |
