🤖 연합학습(Federated Learning)

1. 연합학습(Federated Learning)의 개념

• 중앙 서버에 원시 데이터를 모으지 않고, 각 클라이언트(단말 또는 로컬 시스템)의 데이터를 해당 위치에 보존한 상태로 모델을 공동 학습하는 분산형 학습 방식임
• Google이 2016년에 모바일 키보드(Gboard) 개선을 위해 최초로 제안함
• "Federated"란 단어는 '연합된', '공동의'라는 의미로, 서로 독립적인 다수의 클라이언트가 협력하여 하나의 글로벌 모델을 학습하는 구조를 지칭함
• 데이터 이동이 불필요하므로 프라이버시 보호와 통신 비용 절감 효과를 동시에 기대할 수 있음

---

2. 연합학습의 기본 구조 및 흐름

단계	구성 요소	설명
1	클라이언트 디바이스	각 사용자 혹은 장치에서 로컬 데이터를 이용해 개별 모델을 학습함
2	로컬 모델 학습	원시 데이터를 서버로 보내지 않고, 디바이스 내에서 모델을 학습함
3	모델 파라미터 전송	학습된 모델의 파라미터(또는 gradient)를 중앙 서버에 전송함
4	중앙 서버 Aggregation	여러 클라이언트의 파라미터를 평균(FedAvg 등)하여 글로벌 모델 생성함
5	글로벌 모델 업데이트	통합된 글로벌 모델을 클라이언트에 다시 배포하여 반복 학습 수행함

---

3. 연합학습의 장점

• 프라이버시 보호
  → 원시 데이터가 중앙 서버로 이동하지 않음
  → 민감한 개인정보(의료, 금융 등) 보호 가능함

• 데이터 분산 환경 대응
  → 다양한 위치에 존재하는 데이터 활용 가능
  → 특히 IoT, 스마트폰 환경에 적합함

• 통신 효율성
  → 데이터 자체를 보내는 대신, 모델 파라미터만 전송하므로 통신 부하 감소 효과 있음

• 법적/정책적 제한 회피
  → GDPR, HIPAA 등의 개인정보 보호 규정을 만족시킬 수 있는 구조임

---

4. 연합학습의 한계점 및 기술적 도전 과제

• 비동기성 및 이질성(Non-IID 문제)
  → 클라이언트 간 데이터 분포가 상이하여 전체 모델 학습의 수렴에 악영향을 줄 수 있음
  → 일부 클라이언트는 특정 클래스만 포함하고 있어 글로벌 모델 성능 저하 가능성 존재함

• 클라이언트 환경 다양성
  → 네트워크 지연, 연산 능력 부족, 배터리 제약 등으로 일부 클라이언트는 학습 참여가 어려울 수 있음

• 통신 비용 및 자원 소모
  → 반복적인 파라미터 전송으로 인한 통신 비용 및 장치의 전력 소모 문제가 존재함

• 보안 취약점 존재
  → 모델 업데이트만으로도 민감 정보를 유추할 수 있는 공격(e.g. model inversion, gradient leakage)이 존재함
  → 이를 방지하기 위한 기술로 Differential Privacy, Secure Aggregation, Homomorphic Encryption 등이 연구됨

---

5. 연합학습의 응용 분야

• 스마트폰 키보드 예측(Google GBoard)
  → 사용자 입력 데이터를 서버로 보내지 않고도 언어 모델 개선 가능함

• 의료 데이터 분석
  → 병원 간 환자 데이터를 중앙에 모으지 않고도 공동 모델 학습 가능함
  → 질병 진단, 영상 분석 등에 활용되고 있음

• 스마트홈 및 IoT 센서 네트워크
  → 각 디바이스에서 로컬 데이터를 활용하여 전체 시스템 최적화 가능함

• 자동차 및 자율주행 시스템
  → 각 차량에서 수집된 데이터를 기반으로 전역적인 자율주행 모델을 공동 개발 가능함

---

6. 주요 연합학습 알고리즘

알고리즘	주요 특징
FedAvg	가장 기본적인 알고리즘으로, 로컬 학습 후 평균값으로 모델을 통합함
FedProx	FedAvg의 확장으로, 로컬 목적 함수에 정규화 항을 추가하여 클라이언트 간 이질성 대응함
Scaffold	로컬 옵티마 수렴 문제를 줄이기 위해 서버에서 제어 변수(control variate)를 제공함
FedNova	클라이언트마다 다른 학습량을 정규화하여 평균화하는 방식 적용함

---

7. 연합학습의 진화 방향

• Federated Transfer Learning
  → 클라이언트 간 feature space 혹은 label space가 상이한 경우에도 학습 가능하게 하는 방법

• Cross-silo Federated Learning
  → 병원, 연구소, 기업 등 상대적으로 안정적인 노드 간 협력 모델

• Cross-device Federated Learning
  → 수많은 모바일 장치에서 동시 학습 수행, 지연 및 이질성 고려 필요

• Split Learning, Swarm Learning 등과 결합한 하이브리드 형태의 연합학습 등장

---

8. 연합학습과 개인정보 보호 기술의 통합

• Differential Privacy
  → 업데이트된 파라미터에 노이즈를 추가하여 개별 정보 노출 가능성 낮춤

• Homomorphic Encryption
  → 암호화된 상태에서도 연산이 가능하여 원시 정보 노출 방지함

• Secure Multiparty Computation(SMC)
  → 서로 신뢰하지 않는 다수의 클라이언트가 정보를 공유하지 않고도 계산 가능하게 하는 기술

---

9. 결론

• 연합학습은 분산된 환경에서 프라이버시를 보장하면서 공동 모델을 학습할 수 있는 핵심 기술로 자리매김함
• AI와 개인정보 보호 간의 균형을 달성하기 위한 핵심 방법으로 의료, 금융, IoT, 모바일 등 다양한 분야에서 활용되고 있음
• 기술적 도전 과제가 여전히 존재하나, 보안 기술과 연계한 진화 방향을 통해 실질적인 사회 문제 해결에 기여할 것으로 기대됨

---