텍스트 분류 벤치마크 파일럿, 데이터로 다시 보기 — Jev vs GLiNER2.5

한 문장 요약: 이 글을 읽으면 3개 데이터셋에서 진행된 Jev·GLiNER2.5 비교 파일럿의 정확도·보정·비용·지연 시간 결과와, "범용 승자가 없다"는 결론의 근거를 이해할 수 있습니다.

개요

• 주제: 텍스트 분류 언어모델 파일럿 벤치마크(03_btzsc-pilot-v1.md) 결과 분석
• 핵심 관점: 정확도뿐 아니라 확률 품질(보정·Brier·NLL)과 비용·지연을 함께 봐야 모델 선택이 맞는다
• 핵심 키워드: Jev, GLiNER2.5, Macro-F1, ECE, Brier, NLL, 부트스트랩 신뢰구간, 파일럿

핵심 메시지 3가지

① 주제·고카디널리티 분류에서는 Jev가 명확히 앞선다 AG News와 Banking77/BTZSC에서 Jev의 정확도 우위는 신뢰구간까지 포함해 뚜렷하다. AG News 정확도 차이는 0.21, Banking77/BTZSC 정확도 차이는 0.26으로, 95% 구간 모두 0을 넘는다.

② 감정 분류에서는 확률 품질이 오히려 나빠진다 DAIR Emotion에서 정확도 차이 0.04는 95% 구간 [-0.070, 0.150] — 통계적으로 구분되지 않는다. 반면 Brier 차이 0.178 [0.041, 0.315], NLL 차이 4.206 [2.677, 6.033]은 Jev 불리 쪽으로 0을 벗어난다.

"The pilot therefore supports a task-dependent conclusion, not a universal winner."

③ 비용·지연은 "배포 환경" 문제로 분리해서 봐야 한다 Jev의 지연은 프랑스 네트워크 서비스 시간을 포함하고, GLiNER은 로컬 CPU 추론이다. 원문도 "하드웨어 정규화된 처리량 비교가 아니다"라고 명시한다.

실험 설계와 실행 환경

① 데이터셋별 원 성능 지표 (Table 1)

주목할 점은 Banking77/BTZSC에서 Jev가 지연까지 더 빠르다는 점이다(246.4 ms vs 295.5 ms). 단, 이 비교도 네트워크·로컬 환경이 섞여 있어 주의가 필요하다.

② 차이(differentiation)와 95% 신뢰구간 (Table 2)

차이는 산식이 단순하다 — 차이 = Jev 값 − GLiNER2.5 값:

• AG News Accuracy: 0.910 − 0.7 = 0.21
• AG News Macro-F1: 0.905 − 0.659 = 0.246
• Banking77/BTZSC Accuracy: 0.870 − 0.61 = 0.26
• Banking77/BTZSC Macro-F1: 0.857 − 0.569 = 0.288
• DAIR Emotion Accuracy: 0.48 − 0.44 = 0.04
• DAIR Emotion Macro-F1: 0.479 − 0.407 = 0.072

패턴: 정확도·F1 차이는 AG News와 Banking77/BTZSC에서 0을 훌쩍 넘고, 감정 분류에서는 0을 포함한다. 반대로 Brier·NLL은 감정 분류에서만 Jev 불리 쪽으로 뒤집힌다.

③ 오류 예산과 확증 연구 조건

파일럿의 5% error-budget coverage는 "같은 파일럿 슬라이스에서 선택한 임계값"을 사용하므로 기술(descriptive)이라는 단서가 붙는다. 원문이 제시한 확증 연구 조건은 다음과 같다.

① 검증 데이터에서 임계값 선택 → ② 분리된 held-out 테스트 셋에서 1회 평가 → ③ 표본 크기 확대 → ④ 더 많은 BTZSC 데이터셋 포함

④ 비용·지연·산출물 검증 가능성

비용 산식 (하한 추정):

• Jev 유지 성공 예측: 300건, 입력 토큰 316,861
• TypeSafe 공표 단가: $0.042 per million input tokens
• 316,861 × $0.042 ÷ 1,000,000 = $0.0133 (하한)

단, 재시도된 검증 실패 4건의 usage 메타데이터는 버려져 총 실행 비용은 "알 수 없으며 약간 더 높다" — 원문도 "이것은 청구 영수증이 아니다"라고 못박는다.

산출물 SHA-256 (Table 3):

관점 포인트

• 정확도만 보면 두 번째 데이터셋까지 Jev 승 — 하지만 Brier·NLL까지 보면 감정 분류에서 완전히 다른 그림이 나온다
• Coverage@≤5%는 0 vs 0.830/0.860 수준의 격차 — 오류 예산 안에서 답을 얼마나 자주 내놓는지의 문제다
• 지연 비교는 배포 환경의 함수 — 네트워크 포함 vs 로컬 CPU는 정규화 전에 단순 비교 불가
• 차이의 방향을 먼저 확인 — 정확도·F1은 높을수록, Brier·NLL은 낮을수록 좋다
• 파일럿은 방향 제시용 — 확증 연구 조건(검증/테스트 분리, 표본 확대)을 갖춰야 결론이 굳는다

최종 핵심 정리

확인해야 할 핵심 질문:

• 내 타깃 도메인은 "주제·고카디널리티" 쪽인가, "감정" 쪽인가?
• 정확도 외에 확률 품질(Brier·NLL·ECE)을 실제 의사결정에 쓰는가?
• 95% 신뢰구간이 0을 포함하는 지표를 "우위"로 읽고 있지는 않은가?
• 비용 추정이 청구 근거인지, 하한 추정인지 구분했는가?
• 지연 비교 시 네트워크·하드웨어 환경이 정규화되어 있는가?

한 줄 요약: 이 파일럿은 "어느 모델이 이기는가"가 아니라 "어떤 태스크에서 무엇이 이기는가"를 묻는 데이터다 — 정확도 우위는 AG News·Banking77/BTZSC에, 확률 품질의 함정은 감정 분류에 있다.