파이썬으로 구현하는 머신러닝 : 트리모델 - Decision Tree의 특징

Decision Tree의 장점

 - 학습된 모델의 해석력이 높음(학습된 모델을 사람이 이해 가능, 학습된 Tree를 시각화 할 수 있음)

 - Scaling, One Hot Encoding 등 데이터 전처리의 영향이 크지 않음

 - Feature Selection이 자동으로 수행됨

 - 학습된 모델의 Prediction 속도가 빠름

 

Decision Tree의 단점

 - Overfitting 되기 쉬움 -> 불순도/엔트로피가 0이 될 때까지 집요하게 Tree 가지를 분리, Training Dataset에 최적화 될 가능성 존재

 - 모델을 학습하기 위한 시간/공간 복잡도가 높음

 - 다른 분류 알고리즘에 비해 예측 정확도가 상대적으로 낮음 -> 앙상블 학습 기법으로 보완

 

Hyperparameter

 - Decision Tree의 Hyperparameter들은 대부분 Overfitting을 완화하는 목적

 - Tree의 크기를 제한함으로써 Overfitting을 완화

 - Decision Tree의 학습을 일찍 종료시켜 Tree의 크기를 제한

 ex) max_depth, min_samples_split, min_samples_leaf, max_leaf_nodes, max_features...

 

Decision Tree의 Hyperparameter