Google 연합학습, "서버를 믿지 않는" 시대로 — TEE 기반 신규 FL 시스템 분석

개요

  • 주제: Google Research가 2026년 10월 2일 발표한 TEE(신뢰 실행 환경) 기반 차세대 연합학습(Federated Learning) 시스템
  • 핵심 관점: "서버 운영자를 신뢰하지 않아도 되는" 외부 검증 가능 프라이버시 보장의 실현
  • 핵심 키워드: 연합학습, TEE, 차분적 프라이버시(DP), 공개 투명성 로그(Rekor), RAFT 합의, Gboard

핵심 메시지 3가지

1. "믿어라"에서 "검증하라"로 기존 FL 시스템은 외부 관찰자가 데이터가 로깅·열람되지 않았음을 확인할 방법이 없었습니다. 새 시스템은 제3자가 실행 중인 로직을 원격으로 증명(remote attestation)할 수 있어, 프라이버시 보장을 외부 검증 가능하게 바꿉니다.

2. 계산을 기기에서 서버로 이동 클라이언트 기기의 제약(가용성·온디바이스 연산)에서 벗어나 훈련 속도·정확도·기기 커버리지를 동시에 개선했습니다. Gboard는 이전 FL 시스템 대비 "substantially faster compute times"를 확보했습니다.

3. 투명성 로그 + 재현 가능한 빌드 접근 정책은 공개 투명성 로그 Rekor에 게시되고, KMS·데이터 처리 바이너리는 오픈소스(GitHub: Confidential Federated Compute)에서 재현 가능하게 빌드됩니다.

1. 배경 — 연합학습은 왜 4원칙으로 재정의됐는가

Google은 2017년에 연합학습(FL)을 도입했으며, Gboard의 다음 단어 예측·Smart Compose, Google Messages의 답장 제안, Android의 Smart Text Selection에 활용되어 왔습니다. FL 시스템 개발은 4가지 핵심 프라이버시 원칙으로 이끌립니다.

순서 원칙 의미
(1) data minimization 데이터 최소 수집
(2) data anonymization 데이터 익명화
(3) transparency and control 투명성과 통제
(4) verifiability and auditability 검증 가능성과 감사 가능성

익명화 연구는 MF-DP-FTRL, 분산 차분적 프라이버시 + Secure Aggregation 등의 알고리즘을 통해 프로덕션 모델에 강한 차분적 프라이버시(DP) 보장을 제공해 왔습니다. 2025년에는 이 4원칙 중심의 FL 정의를 재정의했습니다.

"A complete FL system should enable clients to maintain full control over their data, the set of workloads allowed to access their data, and the anonymization properties of those workloads."

2. 기존 시스템의 한계 — 외부 검증이 불가능했다

시계열 시스템 남은 문제
초기 FL 즉시 집계용 업로드 외부 관찰자가 데이터 미로깅·미열람을 검증할 방법 없음
이후 Secure Aggregation 도입 업로드는 암호학적으로 보호되지만, 최신 중앙 DP 보장과 호환되지 않음
2026 TEE 기반 FL 서버 운영자 신뢰 제거라는 다음 마일스톤

3. 새 시스템의 4대 운영 개념

① Data upload — 기기가 훈련 예제를 로컬 암호화하여 업로드. 기기는 접근 정책(access policy)을 사전 승인하며, 이 정책은 이 데이터를 처리할 수 있는 TEE 연산의 집합입니다. 접근 정책은 공개 투명성 로그에 게시되어야 합니다.

↓

② KMS and policy verification — RAFT 합의 프로토콜을 구현하는 TEE 클러스터인 키 관리 시스템(KMS)은, 접근 정책에 부합하는 서버 측 TEE 워크로드에만 복호화 키를 제공합니다.

↓

③ Workload execution — 데이터 처리 TEE가 훈련 루프를 구현하는 Python 프로그램을 실행합니다. 이 "root" TEE는 병렬화 가능한 하위 작업을 worker TEE 클러스터에 위임하며, 분산 로직은 TensorFlow Federated에서 파생된 오픈소스 오케스트레이션 언어 Federated Language로 표현됩니다. 훈련 루프는 주기적으로 익명화된 모델 가중치를 데이터 분석가에게 공개합니다.

↓

④ Fault-tolerant recovery — Python 프로그램은 훈련 라운드 종료 시 KMS로 암호화된 복구 상태를 저장합니다. 간헐적 root·worker 장애로부터 복구하되, 추가 프라이버시 민감 정보를 유출하지 않습니다.

4. 프라이버시를 강화하는 3가지 메커니즘

① 공개 투명성 로그와 재현 가능한 빌드 기기는 자신이 업로드하는 데이터에 접근할 수 있는 서버 워크로드 전체를 알고 있으며, 접근 정책은 공개 투명성 로그 Rekor에 게시됩니다. 외부 감사자는 이 로그를 추적해 기기가 잠재적으로 참여할 수 있는 서버 워크로드 전체를 관찰할 수 있습니다. KMS·데이터 처리 바이너리는 Confidential Federated Compute GitHub 저장소의 오픈소스에서 재현 가능하게 빌드됩니다.

② 동적 사이드로딩을 통한 검증 가능한 실행 Rekor에 게시된 접근 정책은 FL 훈련 로직을 표현하는 Python 프로그램을 직접 기술합니다. 독점 모델 아키텍처·전처리 로직을 보호하면서도 감사 가능성을 유지하기 위해, 데이터 처리 TEE는 런타임에 직렬화 정보를 사이드로딩할 수 있습니다. 단, 모든 프라이버시 관련 로직은 Python 프로그램에 하드코딩되어야 이 보장이 유지됩니다.

③ 노출 범위의 제한 워크로드 운영자에게는 지표와 차분적 프라이버시가 적용된 모델 가중치만 보입니다. 기기에서 수집된 암호화된 훈련 데이터는 접근 정책에 표시된 Python 훈련 프로그램이 실행되는 TEE 내에서만, 그리고 업로드 후 제한된 시간 동안만 복호화·처리될 수 있습니다.

5. Gboard 적용 효과 — 숫자로 보는 개선

항목 이전 FL 시스템 TEE 기반 신규 시스템
훈련 소요 기간 1-2개월 (기기 가용성·온디바이스 연산·자원 경쟁에 제약) 병렬화로 상당한 가속, 현재는 TEE 자원 가용성만이 제약
시간대별(diurnal) 가용성 기기 가용성 변동이 훈련 진행에 영향 모든 기기 업로드를 수집 후 서버 학습 실행 → 변동 영향 제거
기기 참여 스케줄 제약적 프로그램 내에서 최적 기기 참여 스케줄을 동적 계산, DP 파라미터 튜닝 가능
적용 모델 — 영어·일본어 다음 단어 예측 모델 배포, 프라이버시 보장 강화 + 정확도 개선

정량 실험 조건: 5000 라운드, 6500대 기기 코호트로 양 시스템에서 영어 다음 단어 예측 모델을 훈련하여, 신규 시스템에서 더 강한 프라이버시 보장과/또는 더 작은 노이즈 승수(noise multiplier) 곡선을 도출했습니다.

6. 향후 과제와 전망

  • 가속기와의 TEE 통합 — 클라이언트 그라디언트 계산을 서버로 이동시켜 온디바이스 연산 제약을 해소했고, FL로 더 큰 모델을 훈련할 길을 열었습니다.
  • 범용 워크로드 확장 — Python으로 표현 가능한 임의 워크로드 실행 가능. 합성 데이터 생성 워크로드 실험 중이며, LLM 추론 특화 TEE와의 결합도 탐구 대상.
  • 남은 한계 — 현재 세대 TEE 한계, 사이드채널 관찰(side-channel observation) 완화 연구가 지속 과제이며, 동적으로 로드되는 워크로드에 대한 악의적 서버 측 공격 방어는 미래 TEE 하드웨어 개선에 기대는 부분이 있습니다. 궁극적으로는 DP 알고리즘·시스템 구성요소의 소프트웨어 구현에 대한 정확성 완전 증명을 기대한다고 밝혔습니다.

관점 포인트

  • 신뢰 경계의 이동: 신뢰 대상이 "운영자"에서 "하드웨어 증명 + 공개 정책"으로 옮겨갔습니다.
  • RAFT 합의가 KMS에 재등장: 합의 알고리즘은 분산 시스템의 상용 핵심으로 여전히 유효합니다 — KMS가 RAFT 기반 TEE 클러스터인 점이 그 방증입니다.
  • 감사 가능성 vs 영업비밀의 절충안: 사이드로딩은 독점 로직 보호와 외부 검증을 동시에 만족하는 실용 설계입니다.
  • 검증 조건을 잊지 말 것: "프라이버시 관련 로직은 Python에 하드코딩"이라는 전제가 깨지면 보장도 깨집니다.
  • 성능 향상이 곧 프라이버시 향상: 기기 참여 스케줄 최적화가 곧 더 작은 노이즈 승수 → 더 강한 DP 보장으로 이어지는 구조입니다.

최종 핵심 정리

확인해야 할 핵심 질문:

  • 외부 감사자는 무엇을 검증할 수 있는가? → Rekor에 게시된 접근 정책(=실행될 Python 프로그램)과 재현 가능한 빌드 산출물
  • 데이터는 어디서만 복호화되는가? → 접근 정책에 명시된 TEE 내, 업로드 후 제한된 시간 동안만
  • 기존 DP 접근과 무엇이 다른가? → Secure Aggregation이 중앙 DP와 호환되지 않았던 한계를 넘어, 서버 운영자 신뢰를 제거하는 방향
  • 실제 성과는? → Gboard 영어·일본어 다음 단어 예측 배포, 훈련 기간 1-2개월에서 서버 병렬화 기반 가속으로

한 줄 요약: Google의 TEE 기반 연합학습은 "서버가 데이터를 다룬다고 믿으라"던 패러다임을 "어떤 코드가 실행되는지 직접 검증하라"로 바꾸며, 프라이버시·정확도·훈련 속도를 동시에 끌어올린 첫 프로덕션 사례입니다.

출처: Google Research Blog, "Toward provably private learning from federated data" (2026년 10월 2일, Katharine Daly·Daniel Ramage)