🤖 앙상블 학습 기법(Bagging, Boosting, Stacking)의 구조 비교

■ 앙상블 학습 기법의 개요

• 앙상블 학습이란 여러 개의 약한 학습기(Weak Learner)를 조합하여 성능이 우수한 강한 학습기(Strong Learner)를 생성하는 기법임
• 개별 모델의 한계를 보완하고 분산(Variance), 편향(Bias), 과적합 문제를 동시에 완화함
• 대표적 방식으로는 Bagging, Boosting, Stacking 세 가지가 존재함
• 각 방식은 학습기 결합 방법, 데이터 샘플링 방식, 오류 보정 전략, 병렬/순차 구조 등에서 차이를 보임

---

■ Bagging (Bootstrap Aggregating)

• 동일 알고리즘을 사용하는 다수의 모델에 대해 서로 다른 데이터 샘플로 병렬 학습을 수행하는 방식임
• 데이터 샘플은 중복 허용 무작위 샘플링(Bootstrap Sampling)을 통해 구성함
• 각 모델은 독립적으로 학습되며, 최종 예측은 다수결(Voting) 또는 평균(Averaging)을 통해 결정함
• 대표 모델: Random Forest

구조 및 특성

• 데이터 샘플링: Bootstrap 방식 사용
• 모델 학습 구조: 병렬 구조
• 예측 방식: 분류는 다수결, 회귀는 평균
• 목적: 분산(Variance) 감소
• 장점: 과적합 억제에 효과적이며 병렬처리에 유리함
• 단점: 편향(Bias) 감소에는 한계 존재

---

■ Boosting

• 약한 학습기를 순차적으로 학습시켜 오차를 줄이는 방식
• 이전 단계에서 잘못 예측된 샘플에 더 높은 가중치를 부여하여 다음 학습기에 반영함
• 각 모델은 앞선 모델의 예측 오류를 보완하는 방식으로 구성됨
• 대표 모델: AdaBoost, Gradient Boosting, XGBoost

구조 및 특성

• 데이터 샘플링: 전체 데이터를 사용하되 가중치 조절
• 모델 학습 구조: 순차 구조
• 예측 방식: 학습기 성능에 따라 가중 평균
• 목적: 편향(Bias) 감소
• 장점: 예측 정확도 향상, 약한 모델로도 강한 모델 구성 가능
• 단점: 순차 구조로 병렬화 어려우며 과적합 위험 존재

---

■ Stacking

• 서로 다른 알고리즘의 학습기를 조합하는 방식으로, 개별 모델의 예측 결과를 다시 메타 모델(Meta Learner)이 학습하여 최종 예측을 수행함
• 학습기 다양성과 메타 학습을 통해 복합적 패턴을 효과적으로 포착함
• 모델 구조가 계층적으로 구성되며, 일반화 성능 향상을 목적으로 함

구조 및 특성

• 데이터 샘플링: 전체 데이터 사용
• 모델 학습 구조: 2단계 계층 구조 (1차 모델 + 메타 모델)
• 예측 방식: 메타 모델에 의한 예측
• 목적: 복잡한 관계 학습, 예측 성능 극대화
• 장점: 다양한 모델을 조합하여 높은 표현력 확보
• 단점: 모델 설계 및 학습 과정 복잡, 과적합 가능성 존재

---

■ 세 기법의 비교 정리

항목	Bagging	Boosting	Stacking
구조	병렬 학습	순차 학습	계층 구조
데이터 샘플링	Bootstrap 샘플링	가중치 기반 전체 데이터 사용	전체 데이터 사용
모델 다양성	동일 알고리즘 사용 가능	동일 알고리즘 기반 가능	이질적 알고리즘 조합
예측 방식	평균/다수결	가중 평균	메타 모델을 통한 예측
주 대상 문제	분산(Variance)	편향(Bias)	일반화 오류
과적합 방지	강함	약함(튜닝 필요)	약함(메타 모델 과적합 가능)
대표 모델	Random Forest	AdaBoost, XGBoost	다양한 모델 조합

---

■ 결론 및 시사점

• 앙상블 기법은 개별 모델의 약점을 보완하고 예측 성능을 향상시키기 위한 대표적 머신러닝 전략임
• Bagging은 분산을 줄이는 데 효과적이며, Boosting은 편향을 줄이는 데 효과적임
• Stacking은 다양한 모델을 조합하여 고차원의 패턴 인식에 강점을 보임
• 실제 문제에 따라 편향-분산 트레이드오프, 학습 시간, 병렬 처리 가능성 등을 고려하여 선택 필요함
• 최근에는 XGBoost, LightGBM 등의 Boosting 기반 모델이 Kaggle 대회 등에서 주로 활용되고 있으며, Stacking은 AutoML 및 앙상블 기반 모델 최적화 시스템에서 많이 사용됨

---