🤖 PR(Precision Recall) & ROC Curve

1. 서론

• 인공지능, 머신러닝 및 데이터 분석 분야의 모델 성능을 평가하는 대표적인 방법으로 PR(Precision-Recall) 곡선과 ROC(Receiver Operating Characteristic) 곡선이 활용됨
• 두 지표 모두 이진 분류 모델의 성능을 시각화하여 직관적인 비교 및 해석 가능
• 모델의 임계값(threshold)을 변화시키며 다양한 민감도(Sensitivity)와 특이도(Specificity), 정밀도(Precision)와 재현율(Recall) 등을 관찰할 수 있음

---

2. PR(Precision-Recall) 곡선 개요

• 정의

  • 정밀도(Precision)와 재현율(Recall)의 관계를 시각화한 곡선
  • y축: 정밀도 (Precision = TP / (TP + FP))
  • x축: 재현율 (Recall = TP / (TP + FN))
  • Positive 클래스(주로 관심 대상 클래스)에 초점을 둔 평가 지표

• 특징

  • 클래스 불균형이 심한 데이터셋에서 유리함
  • False Positive가 많아지는 경우 Precision이 급격히 낮아짐
  • Recall이 높아질수록 Precision은 일반적으로 감소하는 trade-off 관계 존재
  • PR 곡선 아래의 면적(AP, Average Precision)으로 모델 성능 종합 평가 가능

• 활용 예시

  • 스팸 이메일 탐지, 질병 진단 등 Positive 클래스가 희귀한 상황
  • 정밀도가 중요한 분야(예: 오탐을 줄이는 것이 중요한 경우)

---

3. ROC(Receiver Operating Characteristic) 곡선 개요

• 정의

  • 민감도(True Positive Rate, TPR)와 위양성률(False Positive Rate, FPR)의 관계를 시각화한 곡선
  • y축: 민감도 (TPR = TP / (TP + FN))
  • x축: 위양성률 (FPR = FP / (FP + TN))
  • 다양한 threshold 값에서의 TPR과 FPR의 변화 관찰

• 특징

  • 클래스 간 비율이 균형적일 때 유리함
  • FPR이 낮고 TPR이 높은 모델이 이상적
  • ROC 곡선 아래 면적(AUC, Area Under Curve)이 클수록 모델의 분류 능력이 우수함
  • 완벽한 분류기의 경우 AUC=1, 무작위 추측 수준이면 AUC=0.5

• 활용 예시

  • 의료 영상 분류, 금융 사기 탐지 등 모델의 전반적인 분류 성능이 필요한 상황

---

4. PR 곡선과 ROC 곡선 비교

구분	PR 곡선	ROC 곡선
평가 지표	Precision vs Recall	TPR vs FPR
강조 대상	Positive 클래스 중심 평가	전체 클래스 간 균형 고려
클래스 불균형에 대한 민감도	높음	낮음
모델 평가 관점	정밀도-재현율 trade-off 분석에 유리	분류기 성능 전반 평가에 유리
면적 지표	Average Precision (AP)	Area Under Curve (AUC)
곡선 해석	Precision이 빠르게 감소하면 모델 성능 저하	좌상단으로 치우칠수록 성능 우수

---

5. 결론 및 시사점

• PR 곡선과 ROC 곡선은 모두 분류 모델 평가에 필수적인 도구
• 데이터의 클래스 비율, 실제 업무에서의 요구 조건(예: 정밀도 우선, 재현율 우선 등)에 따라 적절한 곡선을 선택해야 함
• PR 곡선은 positive class 예측 성능이 중요할 때 효과적이며, ROC 곡선은 모델의 전반적인 분류 능력을 평가할 때 유용
• AUC와 AP 같은 면적 지표를 통해 모델 간 비교가 가능하며, 단일 수치가 아닌 곡선 형태로 다양한 threshold의 성능 변화까지 확인 가능
• 실제 시스템 적용 전, PR과 ROC 곡선을 모두 분석하여 최적 임계값 설정 및 모델 보정이 요구됨

---