🤖 AI 모델의 Drift 감지(Concept Drift vs Data Drift)와 재학습 전략

1. Drift 개념 및 감지 필요성 이해

• 머신러닝 모델은 학습 당시의 데이터 분포와 동일한 조건에서 예측 정확도를 유지함
• 실제 서비스 환경에서는 시간이 지남에 따라 입력 데이터의 분포 또는 의미가 변함
• 이러한 분포 변화가 발생할 경우 모델 성능이 저하되며, 이를 Drift라 부름
• Drift는 사전 감지 없이 발생하며, 주기적 모니터링 체계 없이는 탐지가 어려움
• Drift 감지는 AI 모델 운영 및 지속적인 품질 관리를 위한 핵심적 절차로 간주됨

---

2. Drift의 유형 구분

2.1 Data Drift (Covariate Shift)

• 입력 데이터의 확률 분포 $( P(X) $)가 변화하는 경우
• 예: 사용자의 연령대 분포 변화, 계절에 따른 상품 검색 패턴 변화 등
• 타겟 라벨의 조건부 분포 $( P(Y|X) $)는 고정된 상태 유지
• 주요 감지 방식: 분포 차이 측정 (KL Divergence, PSI, KS-test 등)

2.2 Concept Drift

• 목표 함수의 분포 $( P(Y|X) $) 자체가 변화하는 경우
• 예: 금융 사기 탐지에서 공격 패턴이 변화하거나, 고객의 선호도가 변화하는 경우
• 입력 데이터 분포는 동일하나 출력의 의미가 바뀌는 현상
• 감지 방식은 일반적으로 성능 저하 탐지 기반, 혹은 레이블 동반 샘플 기반 방식 적용

2.3 Combined Drift

• Data Drift와 Concept Drift가 동시에 발생하는 복합 형태
• 현실에서는 대부분 이 복합 Drift 형태가 발생함
• Drift 원인 구분과 감지 모두 복잡성을 수반함

---

3. Drift 감지 방법론 정리

3.1 통계 기반 감지 방법

• KS-test, Chi-square test, KL Divergence 등을 통해 분포 차이 정량화
• PSI(Population Stability Index)를 통해 입력 변수의 변화율 측정
• Anderson-Darling, Wasserstein distance 등도 비슷한 방식으로 활용

3.2 성능 기반 감지 방법

• 모델의 예측 정확도, 정밀도, F1-score 등의 지속적 모니터링
• SLA를 벗어나는 경우 Drift 발생으로 간주
• 이 방법은 레이블이 주기적으로 수집되는 환경에서 유효

3.3 Window 기반 슬라이딩 기법

• 최근 데이터 윈도우와 과거 학습 데이터 간 차이를 비교
• ADWIN, DDM, EDDM과 같은 Drift Detection 알고리즘 활용
• 개별 데이터 스트림 환경에서 실시간 감지에 유리

3.4 데이터 시각화 및 히스토그램 기반 추적

• 특정 피처의 분포 히스토그램을 시각적으로 비교하여 이상 여부를 탐색
• 중요 피처에 대해 주기적으로 그래프 기반 탐지 적용 가능

---

4. Drift 발생 시 재학습 전략

4.1 주기적 재학습(Scheduled Retraining)

• 일정 주기(예: 주간, 월간)마다 모델을 재학습
• 감지 민감도는 낮지만 운영 및 구현이 간단함
• Drift가 느리게 발생하는 환경에서 적합

4.2 이벤트 기반 재학습(Event-triggered)

• 특정 지표가 사전 정의된 임계치를 초과할 경우 재학습 트리거 발생
• Drift 감지와 재학습 트리거 간 연결 필요
• 재학습 비용과 감지 민감도 간 트레이드오프 존재

4.3 온라인 러닝 기반 지속 학습

• 새롭게 유입되는 데이터 스트림을 실시간으로 모델에 반영
• 모델이 점진적으로 변화하는 환경에 적응 가능
• 대표 알고리즘: Hoeffding Tree, Online Gradient Descent 등
• 레이블 수급이 원활해야 효과적

4.4 앙상블 기반 Drift 대응

• 서로 다른 시점의 모델을 보존하고 앙상블 방식으로 예측
• 특정 모델이 Drift된 상황에만 영향 받게 제한 가능
• Drift에 강건한 예측 안정성을 확보할 수 있음

4.5 데이터 재정의 및 Feature Engineering

• Drift 원인을 데이터 차원에서 재해석하고 주요 Feature를 변경
• 예: 기존의 Raw Data 대신 파생 Feature를 설계하여 안정화 유도
• 재학습보다는 입력 데이터의 품질 개선을 통해 대응하는 전략

---

5. 운영 환경에서의 Drift 대응 전략 수립

• 데이터 수집 → Drift 감지 → 성능 분석 → 재학습 트리거 → 모델 업데이트라는 파이프라인 필요
• MLOps 환경에서는 자동화된 Drift 감지 및 재학습 파이프라인 구축이 요구됨
• 주요 구성요소는 다음과 같음
  • Feature Store 및 Metadata Store를 통한 피처 버전 관리
  • Monitoring 시스템을 통한 지표 기반 성능 감시
  • CI/CD 파이프라인 기반 재학습 및 모델 배포 자동화
  • Audit Trail을 통한 재학습 이력 관리

---

6. 결론

• AI 모델은 지속적으로 변화하는 환경에 노출되며 Drift 발생은 피할 수 없음
• Drift 유형을 명확히 구분하고, 상황에 맞는 감지 방식과 재학습 전략 수립이 중요함
• Drift 대응은 단발성 작업이 아닌, MLOps 체계 안에서 지속 가능한 방식으로 구축되어야 함
• 기술적 대응뿐 아니라, Drift 발생 원인에 대한 도메인 해석력 확보도 병행되어야 함

---