파이썬으로 구현하는 머신러닝 : 분류분석 - AUC 지표를 통한 모델 성능분석

AUC(Area Under the Curve)

 - ROC 커브의 아래 면적(A)

 

 - AUC 값이 크면 높은 성능을 의미

==> 동일 모델에서 Threshold를 조절해 TRP를 증가 시, FPR의 증가가 상대적으로 억제

 - AUC 값이 작으면 낮은 성능을 의미

==> 동일 모델에서 Threshold를 조절해 TRP를 증가 시, FPR의 증가가 상대적으로 억제 안됨

AUC 값을 통한 성능 체크

 

 

Precision-Recall AUC

 - ROC 커브에서 X 축과 Y 축 값을 변경 - X 축 : Recall(TPR) - Y 축 : Precision - Trade Off(교환) 관계에 있는 2 값(Recall, Precision)을 종합하는 성능 지표로 사용

 

 - PR AUC 값이 크면 높은 성능을 의미==> 동일 모델에서 Threshold를 조정해 Recall 증가 시, 감수해야 하는 Precision의 하락이 작음 - PR AUC 값이 작으면 낮은 성능을 의미

==> 동일 모델에서 Threshold를 조절해 Recall 증가 시, 감수해야 하는 Precision의 하락이 큼

PR AUC 값을 통한 성능 체크