이진 분류 모델 성능 지표란? #

회귀나 분류 등을 목적으로 하는 머신 러닝 알고리즘 혹은 딥러닝 모델을 생성한 후에는, 해당 모델이 테스트 데이터 혹은 실제 데이터에 대해서도 알맞게 예측하는지를 판단하기 위하여 모델 평가 과정을 필요로 한다. 이렇게 모델의 예측력, 성능을 평가하는 지표를 모델 성능 지표라 한다. 모델의 성능을 평가(검증)하기 위한 다양한 지표가 존재한다. 결국 "모델이 잘 만들어졌는가"를 확인하기 위한 지표이기에 대체로 유사해보이지만, 모델의 형태나 예측 목적에 따라 적절한 지표를 사용해야 한다. 본 포스팅에서는 다양한 성능 지표 중, 이진 분류(binary classification task) 모델의 성능 지표로 자주 활용하는 몇 가지 지표의 formula와 그 의미에 대해 알아보고자 한다.

이진 분류 모델 성능 지표의 종류 #

이진 분류 모델 성능 지표는 아래와 같은 정답과 예측 결과에 대한 confusion matrix에서 비롯된다. 따라서 confusion matrix에 대해서 먼저 알아본 후에 각각의 성능 지표를 살펴보자.

Confusion Matrix(혼동 행렬)

이진 분류 모델은 input에 대한 결과를 0과 1로 예측하는 모델이기에, 실제 정답과 예측 결과에 따라 그 발생 빈도를 다음과 같은 2x2 행렬에 나열할 수 있으며, 이를 혼동 행렬이라 부른다. 혼동 행렬은 그 자체로도 실제 값과 예측 결과를 시각적으로 표현하며, 다른 성능 지표들의 의미를 설명하기에도 적합하여 자주 사용되는 표이다.

혼동 행렬에서 True, False 및 Positive, Negative의 의미

  - True: 정답과 예측 동일
  - False: 정답과 예측 다름
  - Positive: 1 레이블
  - Negative: 0 레이블

  - TP(True Positive): 정답 1을 1로 예측
  - FP(False Positive): 정답 0을 1로 예측
  - FN(False Negative): 정답 1을 0으로 예측
  - TN(True Negative): 정답 0을 0으로 예측

1. 정분류율과 오분류율 #

1-1) 정분류율(Accuracy) #

• Accuracy = ( TN + TP ) / (TN + TP + FN + FP)
  : 정분류율은 전체 데이터 중 정답을 제대로 예측한 것의 비율.

1-2) 오분류율(Error rate) #

• Error rate = 1 - Accuracy = ( FN + FP) / (TN + TP + FN + FP)
  : 오분류율은 1에서 정분류율을 뺀 것으로, 전체 데이터 중 잘못 예측한 것의 비율
  ▷ 정분류율과 오분류율을 더하면 1이 됨. 
  ▷ 정분류율이 높고, 오분류율이 낮을수록 좋음.

2. 민감도와 특이도 #

2-1) 민감도(Sensitivity) #

• Sensitivity(민감도) = TP / (TP + FN)
  : 민감도는 정답의 Positive 데이터 중 Positive로 예측된 데이터의 비율, True Positive Rate(TPR)

2-2) 특이도(Specificity) #

• Specificity (특이도) = TN / (FP + TN)
  : 특이도는 정답의 Negative 데이터 중 Negative로 예측된 데이터의 비율, True Negative Rate(TNR)
  ▷ 민감도와 특이도는 잘 예측된 확률을 보는 것(1을 1로, 0을 0으로)
  ▷ 민감도와 특이도는 함께 높을수록 좋음
  ▷ 민감도와 특이도는 trade-off 관계

3. 정밀도와 재현율, F1 Score #

3-1) 정밀도(Precision) #

• Precision(정밀도) = TP / (TP + FP)
  : 정밀도는 Positive 라고 예측한 것 중 실제 정답이 Positive인 것의 비율  

3-2) 재현율(Recall) #

• Recall(재현율) = TP / (TP + FN)
  : 재현율은 민감도와 같음. 정답의 Positive 데이터 중 Positive로 예측된 데이터의 비율
  ▷ 정밀도와 재현율은 Positive 에 중점을 둔 지표들
  ▷ 정밀도와 재현율 또한 함께 높을수록 좋음
  ▷ 정밀도와 재현율은 trade-off 관계

3-3) F1 Score #

• F1 = 2 x (Precision x Recall) / (Precision + Recall)
  : Precision 과 Recall의 조화 평균(harmonic mean).  최대 1의 값을 가질 수 있음.
  ▷ F1 Score는 정밀도와 재현율이 모두 높을수록 1에 가까운 값을 가짐

마무리 #

본 포스팅에서는 다양한 모델의 성능 지표 중 이진 분류 모델의 성능 지표로 자주 사용되는 Accuracy, Error rate, Sensitivity, Specificity, Precision, Recall, F1 Score 의 formula와 의미, 그리고 그들의 관계에 대해 알아보았다. 위 지표들은 가장 기본적인 성능 지표이므로 숙지할 필요가 있다. 또한 이외에도 분류 모델의 성능을 평가하기 위한 다양한 성능 지표가 있으며, 다른 예측 모델을 위한 성능 지표들도 존재한다.

Reference #

• https://data-scient2st.tistory.com/19