🤖 불편추정량(Unbiased Estimator)

1. 서론

• 통계적 추정(Statistical Estimation)은 모집단의 특성치를 표본을 통해 예측하고자 하는 기법
• 추정량(Estimator)은 모집단의 모수를 추정하는 데 사용되는 함수 또는 통계량
• 그중에서도 불편추정량(Unbiased Estimator)은 기대값이 모수 자체와 일치하는 추정량
• 신뢰성 있는 통계 분석을 위해 추정량의 불편성, 일관성, 효율성 등의 성질이 중요하게 고려됨

---

2. 본론

2.1 불편추정량의 정의

• 모수를 $\theta$라 할 때, 추정량 $T$에 대해 $E[T] = \theta$를 만족하면 $T$는 $\theta$의 불편추정량
• 즉, 반복 측정 시 평균적으로 참값에 수렴함

불편성 수식
$$
E[\hat{\theta}] = \theta
$$

---

2.2 예시

• 모집단 평균 $\mu$에 대한 표본 평균 $\bar{X}$는 다음과 같음

$$
\bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_i
$$

→ 이는 $\mu$의 불편추정량임

• 모집단 분산 $\sigma^2$에 대한 불편추정량은 다음과 같음

$$
S^2 = \frac{1}{n - 1} \sum_{i=1}^{n} (X_i - \bar{X})^2
$$

• 반면, 다음과 같은 분산 추정량은 편향을 가지는 추정량임

$$
\frac{1}{n} \sum_{i=1}^{n} (X_i - \bar{X})^2
$$

---

2.3 불편추정량의 특징

• 기대값이 모수와 정확히 일치
• 표본 수가 많을수록 분산은 감소
• 불편하지만 효율적이지 않을 수도 있음 → MSE(Minimum Squared Error) 고려 필요
• Rao-Blackwell 정리에 따라 기존 불편추정량을 개선 가능

---

2.4 편향(Bias)의 개념

• 추정량의 기대값과 실제 모수 간의 차이를 편향이라 정의함

편향 수식
$$
\text{Bias}(\hat{\theta}) = E[\hat{\theta}] - \theta
$$

• 편향이 0이면 불편추정량, 편향이 존재하면 편향추정량이라 함

---

2.5 불편성, 일관성, 효율성 비교

성질	정의	의미
불편성	$E[\hat{\theta}] = \theta$	평균적으로 참값과 일치
일관성	$\hat{\theta}_n \xrightarrow{p} \theta \ (n \to \infty)$	표본 수가 무한대로 갈 때 모수에 수렴
효율성	동일한 불편성 조건에서 분산 최소	정밀도 높은 추정 가능

• 불편하고 효율적인 추정량이 이상적이나, 현실적으로는 Bias-Variance Trade-off 고려 필요

---

2.6 불편추정량의 존재 조건 및 한계

• 모든 경우에 불편추정량이 존재하지는 않음
• 불편성을 강제로 맞추기 위해 계산 복잡도 증가 가능
• 베이지안 추정, 머신러닝 기반 예측 등에서는 실용성이 더 중요시됨

---

2.7 불편추정량 개선 기법

• Rao-Blackwell 정리: 기존 추정량의 조건부 기대값을 통해 더 나은 추정량 도출
• Lehmann-Scheffé 정리: 충분통계량을 기반으로 유일한 최소분산불편추정량(UMVUE) 도출
• Bootstrap 기법: 반복 샘플링을 통해 편향과 분산을 실험적으로 추정

---

3. 결론

• 불편추정량은 추정 이론의 핵심 요소로서, 기대값과 모수가 일치하는 중요한 기준
• 불편성만으로 추정량의 우수성을 판단하기에는 한계 존재
• 통계 실무에서는 불편성 외에도 효율성, 일관성, 계산 비용 등 종합적으로 고려
• 현대 통계 및 데이터 과학에서는 Bias와 Variance를 균형 있게 고려하는 방향으로 발전 중

---