Harness-Aware Distillation: 하네스가 고정된 에이전트 증류, 무엇을 가르쳐야 하는가

[미디어: https://arxiv.org/abs/2610.02858]

한 문장 요약: 이 글을 읽으면 KAIST AI 연구진이 제안한 Harness-Aware Distillation(HAD)의 핵심 아이디어 — "학생 모델은 하네스가 이미 제공해 주지 못하는 것만 배워야 한다" — 와 그 성능 근거를 이해할 수 있습니다.

개요

• 주제: 언어 모델 에이전트 증류에서 '하네스(harness)'를 전제 조건으로 다루는 방법
• 핵심 관점: 저자는 "하네스-장비 에이전트의 증류는 같은 하네스를 공유하는 두 시스템 사이의 문제"라고 규정하며, 학생이 배워야 할 것은 하네스가 이미 제공하는 정보가 아니라 하네스 정보에 기반해 행동하는 교사 고유의 능력이라고 주장한다
• 핵심 키워드: 온폴리시 증류(OPD), 행동 선호 학습, 유효성 필터링, 하네스 이용률(HU), 장기 테스크

핵심 메시지 3가지

1. 표준 증류는 하네스를 '입력의 일부'로만 취급한다

저자에 따르면 OPD는 교사의 전체 출력을 모방하되, 하네스가 행동을 바꾼 몇몇 순간을 별도로 표시하지 못한다. 교사가 하네스 없이 어떻게 행동했을지도 보여주지 않는다.

2. HAD는 '하네스 유무 대비'라는 추가 신호를 만든다

같은 교사에게 하네스 정보를 주고/빼고 두 번 질의해 행동 차이를 대비시키고, 학생 자신의 추론 뒤에서 두 행동의 선호도를 채점한다. 여기에 하네스 기록과 모순되는 선호 쌍을 버리는 유효성 검사를 결합한다.

"HAD needs no task rewards, success labels, or future information." (원문 Abstract)

3. 성능 향상은 '추가 교사 질의'로 설명되지 않는다

저자는 교사 질의를 2배로 늘린 베이스라인도 HAD에 크게 못 미친다고 보고하며, 이득의 원인은 대비 신호 자체에 있다고 해석한다 (원문 §4.5).

OPD의 세 가지 실패 — 왜 그대로 모방하면 안 되는가

저자는 Figure 1을 통해 OPD의 실패 양상을 세 가지로 정리한다.

세 번째 사례에서 교사 타깃은 "잡고 있지 않은 물체를 정리하라"는 것으로, 하네스 기록과 모순된다. 저자는 "OPD accepts teacher targets that contradict the harness records"라고 지적하며, 하네스 기록이 교사 오류를 드러낼 수 있음에도 OPD는 이를 검사하지 않는다고 주장한다 (원문 §1).

관련 정보: 저자가 인용하는 선행 연구(Wang et al., 2026; Li et al., 2026; Zhou et al., 2026)에 따르면 교사는 학생이 방문한 상태에서 더 신뢰할 수 없을 수 있다 — 유효성 필터링이 필요한 배경이다.

HAD의 작동 방식 — 4단계 파이프라인

① 학생 롤아웃 — 하네스가 켜진 채 학생이 실제 배포와 동일하게 환경과 상호작용
↓
② 이중 교사 질의 — 방문한 각 상태에서 같은 교사에게 하네스 정보를 준 역사(x̃)와 제거한 역사(x)로 각각 질의
↓
③ 응답 증류 + 행동 선호 — 교사 전체 응답은 평균 토큰 NLL로 증류하고, 선호 항은 학생 자신의 추론 접두사 아래에서 행동 토큰만 채점
↓
④ 유효성 마스크 — 하네스 기록과 모순되는 선호 쌍만 선호 손실에서 제거 (응답 증류는 불변)

수식으로 본 핵심 관계와 성립 조건

최종 목적함수는 다음과 같다 (원문 §3.1, Eq. 7):

L_HAD(θ; λ) = E_ν[ℓ_dist,t(θ) + λ·m_t·ℓ_pref,t(θ)]

• 선호 항의 최적 점수: 독립이고 엄밀히 양의 법칙인 추출에 대해, 필터링 없는 선호 손실의 최적 비제한 점수는 log(P₊(a)/P₋(a)) + κ이다 (Proposition A.1). 즉 교사가 높은 확률로 선택한 행동 자체가 아니라, 하네스가 있을 때 상대적으로 더 높아진 행동을 강조한다. 저자는 "Response distillation alone cannot identify this relative change"라고 주장한다 (Observation A.1).
• 주요 설정(예외 포함): 선호 채점은 행동 토큰만 대상으로 하며 추론 접두사는 제외한다. 마스크 m_t는 선호 학습 항에만 적용되고 응답 증류 항은 변경되지 않는다. λ는 각 업데이트에서 미니배치 그래디언트 노름 균형으로 조정하며, 저자가 실제 사용한 설정은 ρ = 0.5(선호 항 그래디언트 노름이 응답 증류의 0.5배), β = 0.5이다 (원문 §3.1, §4.1).
• 유효성 필터의 한계: 마스킹된 리스크는 수용 확률 × (수용 조건부 P₊의 선호 리스크)이며, P₋는 불변이다 (Observation A.2). 다만 "positive action is valid yet incorrect"인 경우는 제거할 수 없고, 이는 불완전한 교사를 따르는 모든 증류 프레임워크에 내재된 한계라고 저자는 명시한다.

왜 '행동만' 비교하고 '학생 추론' 아래에서 채점하는가

• 행동만: 교사의 추론은 하네스 유무와 무관하게 내용·스타일이 크게 달라질 수 있고, 추론은 행동보다 길어 선호 신호를 잠식한다. 저자에 따르면 전체 응답 대비 변형은 실제로 더 나쁜 성능을 보인다 (Table 15, 원문 §3.3·§4.5).
• 학생 추론: 배포 시점 학생은 자신의 추론 뒤에서 행동을 고르지, 교사의 어느 쪽 추론 뒤에서도 고르지 않는다. 하네스-장비 교사의 추론은 응답 증류가 별도로 학습한다 (원문 §3.3).

실험 설정 — 무엇으로 어떤 조건에서 검증했는가

관련 정보(HU 정의): 각 하네스 구성 요소별로 다음 행동이 그 보고와 일치하는 스텝의 비율을 계산해 구성 요소 간 평균한다. 예를 들어 다음 행동은 가용 행동 목록에 있어야 하고, 실패로 보고된 행동과는 달라야 한다 (원문 §4.1).

주요 결과 — 숫자로 보는 HAD의 이득

표준 결과 (하네스 / 하네스 없음, 원문 Table 2)

• ALFWorld Unseen에서 HAD 63.43%는 최강 베이스라인 OPD 47.01%를 크게 앞서고, 8B 교사(51.49%)마저 넘어선다 (원문 §4.2).
• Figure 2에 따르면 OPD에 하네스를 추가하면 HU는 65.7% → 73.1%로 오르지만 성능은 43.1% → 43.5%에 그친다. 반면 HAD는 HU 65.7% → 81.0%, 성능 43.1% → 57.4%로 둘 다 오른다.

오류 탈출 — 예방과 회복 (원문 Table 3, ALFWorld, %)

저자는 "표준 증류는 회복을 가르치지 않는다"고 해석한다 — 어떤 베이스라인도 미학습 학생(46.8%)을 뚜렷하게 상회하지 못하는 반면, HAD는 59.7%의 스톨을 탈출하며, 카운트된 모든 스톨은 하네스가 플래그한 것이라 하네스에 기대어 스톨을 벗어나는 법을 배웠을 가능성이 있다고 주장한다 (원문 §4.3).

하네스 내재화의 비대칭성 (원문 Table 4)

저자는 HAD가 행동 모니터링의 피드백 일부를 내재화하는 반면 상태 정보(방문한 장소·소지품)는 여전히 하네스에서 읽는다고 해석하며, "State tracking thus appears more essential at deployment"라고 주장한다. 또한 거부 행동을 차단하면 오히려 성능이 낮아지므로, 하네스는 HAD에게 하드 제약보다는 행동할 정보로 더 유용하다고 본다.

교차 모델 계열 generalization (원문 Table 5, Gemma-4)

HAD는 Unseen 37.31% / Seen 36.43%로 최강 베이스라인 SOPD(32.09% / 34.29%)를 상회 — 저자는 이 일치가 "HAD의 이득이 특정 모델 계열의 속성이 아니라 하네스 대비에서 나온 것"을 시사한다고 주장한다.

어블레이션 — 각 구성요소가 무엇을 담당하는가

교사 예산 통제 (원문 Table 7): 교사 질의를 2배로 준 OPD는 평균 46.7%(47.8/45.7), SOPD는 46.8%(50.8/42.9)로 상승하지만 HAD의 평균 57.4%(63.4/51.4)에 크게 못 미친다. 저자는 이 비교가 베이스라인에 유리한 조건임을 명시하며, 이득이 추가 질의로 설명되지 않는다고 주장한다.

설계 선택 검증: 전체 응답 대비는 교사 추론 스타일을 구분하는 데 손실을 소모하고 긴 추론이 짧은 행동 신호를 희석한다. 교사 참조 모델 사용도 학생이 방문한 상태에서 교사 확률이 신뢰할 수 있는 사전이 아니어서 효과가 없었다 (원문 §4.5, Table 15).

선행 연구와의 관계 — 균형으로 보기

후속·동시 작업의 기여(턴 단위 감독, 교사 개입, 하네스 설계-사후학습 상호작용)를 부정하지 않고, HAD의 차별점을 "배포 시 하네스를 유지하면서 하네스 정보 사용 방식을 명시적으로 감독한다"는 지점에 두는 것이 원문의 서술 방향이다 (원문 §2).

관점 포인트 — 실무자가 짚어야 할 5가지

• 고정 컴포넌트가 있는 시스템의 증류 원칙: 저자는 "distillation into a system with a fixed component should focus on what that component cannot provide"를 일반 원칙으로 제시하며, 리트리브·외부 도구에 의존하는 에이전트에도 적용 가능할 수 있다고 주장한다 (원문 §5).
• 대비 신호와 유효성 검사는 역할이 다르다: 대비는 HU(하네스 이용률) 이득의 대부분을, 유효성 검사는 성능 보호를 담당한다 — 어블레이션에서 두 항목의 기여가 분리되어 나타난다.
• 하네스는 정보일 때 유용하다: 하네스 거부 행동을 차단하면 성능이 오히려 낮아진다 (63.43 → 55.22). 하드 제약으로 쓰는 것보다 행동 근거로 쓰는 편이 낫다.
• 상태 추적은 배포 필수, 행동 모니터링은 부분 내재화 가능: 숨김 실험에서 상태 추적 제거 시 63.43 → 37.31로 급락한다.
• 한계: 학생 최대 2B, 교사 최대 30B, 텍스트 환경에 한정; 하네스는 수작업 설계로, 자동 최적화된 하네스는 다르게 상호작용할 수 있다 (원문 §5).

최종 핵심 정리

확인해 볼 핵심 질문:

• 같은 하네스를 쓰는 두 시스템의 증류에서, 학생은 무엇을 배워야 하는가? — 하네스가 제공하지 못하는 것, 즉 하네스 정보에 기대어 행동하는 능력
• 대비 신호는 무엇을 식별하는가? — log(P₊/P₋) 형태의 상대적 변화, 즉 하네스 때문에 확률이 높아진 행동
• 무엇은 여전히 하네스에 남아 있는가? — 상태 추적 정보(방문 장소·소지품)는 내재화되지 않고 계속 읽는다
• 무엇은 검증되지 않았는가? — 2B 초과 학생, 도구 호출·소프트웨어 에이전트, 자동 최적화 하네스

한 줄 요약: 하네스가 이미 제공하는 것은 가르치지 말고, 하네스가 바꿔놓은 그 행동의 차이만 남겨라 — 그것이 저자가 제안하는 고정 컴포넌트 시대의 증류 원칙이다.