AI로 10분짜리 영화를 만드는 법 — Google의 'AI 영상 공동감독' 4대 프레임워크 해부

한 문장 요약: 이 글을 읽으면 Google Research가 발표한 장형(롱폼) 영상 자동 생성 프레임워크의 문제의식, 4개 기반 기둥의 작동 원리, 벤치마크 결과까지 한 번에 이해할 수 있습니다.

개요

  • 주제: Google Research 블로그 "Automating coherent long-form video generation" (2026년 9월 24일, Yale Song·Yiwen Song) 분석
  • 핵심 관점: 영상 diffusion의 '고품질 클립'은 이미 달성했지만, 그것을 '일관된 장편 서사'로 잇는 것은 별개의 문제라는 문제의식에서 출발
  • 핵심 키워드: AI video co-director, CANVAS, A²RD, VQQA, 멀티 에이전트, 세계 상태 추적, 시맨틱 드리프트

핵심 메시지 3가지

1. 문제는 클립이 아니라 "연결"이다

기존 파이프라인은 모듈을 사슬처럼 연결(chained modules)하는 방식이라 semantic drift(의상·배경이 샷마다 미세하게 변함)와 cascading failures(업스트림 자산 결함이 다운스트림 합성을 오염)에 시달립니다. 원문은 이를 구조적으로 "classical credit assignment problem"으로 규정합니다 — 최종 실패가 특정 프롬프트까지 소급 추적되기 어렵다는 뜻입니다.

2. 장형 생성을 '전역 최적화 + 세계 상태 추적' 문제로 재정의

Google은 하드코딩된 선형 프롬프트 체인 대신, 글로벌 최적화 문제로 다시 정의했습니다. 그 결과가 4개 프레임워크 — Co-Director(COLM 2026), CANVAS(EMNLP 2026), A²RD, VQQA — 입니다. 이들은 Gemini와 Veo 위에 동작하는 오케스트레이션 레이어로, SynthID 워터마킹 같은 안전 메커니즘을 네이티브로 상속합니다.

3. 평가는 3개 신규 벤치마크로, 핵심 수치는 81.4

새로운 벤치마크 GenAD-Bench·HardContinuityBench·LVBench-C로 검증했으며, AI video co-director는 GenAD-Bench에서 최고 품질 점수 81.4를 기록했습니다.

1. 왜 "긴 영상"이 아직 안 되는가

한계 원문 표현 결과
시맨틱 드리프트 semantic drift 캐릭터 의상·배경이 샷마다 서서히 변함
연쇄 실패 cascading failures 앞 단계 결함이 뒤 단계를 오염
피처 드리프트 feature drift 인물·환경이 의도치 않게 서서히 변화
콘텐츠 붕괴 content collapse 서사가 의미 있게 진행되지 않음
수동 개입 exhaustive manual intervention 초기 오류가 전파되어 끊임없는 편집 필요

"Because early errors propagate and break long-horizon consistency, the process often requires exhaustive manual intervention."

2. 4대 기반 기둥 — 파이프라인 한눈에 보기

원문은 연구를 네 개의 기반 기둥(four foundational pillars) 으로 분해했습니다. 각 기둥은 생성 파이프라인의 특정 병목을 하나씩 담당합니다.

기둥 프레임워크 해결하는 병목 핵심 메커니즘
① 창작 의도 오케스트레이션 AI video co-director 파편화된 프롬프트 MAB(멀티 암 밴딧) 기반 계층적 매개변수화
② 시각 스토리보딩 CANVAS 캐릭터 드리프트·불안정 환경 지속적 시각 메모리 + 세계 상태 모델링
③ 시간적 동태 확장 A²RD 분 단위 길이의 시각적 붕괴 세그먼트 단위 자율회귀 + 멀티모달 비디오 메모리
④ 폐루프 정제 VQQA 시각적 결함 자동 교정 VLM 비평을 '시맨틱 그라디언트'로 사용

흐름: ① 창작 방향 설정 → ② 스토리보드·시각 연속성 확보 → ③ 세그먼트별 영상 합성 → ④ 비평·프롬프트 재정제

3. 기둥 ① — AI video co-director: MAB가 감독을 대신한다

Orchestrator Agent는 MAB 알고리즘으로 세 차원의 창작 구성을 선택합니다.

  1. Creative Strategy (의도)
  2. Narrative Mode (서사 구조)
  3. Aesthetic Archetype (시각 톤·촬영)

이 구성이 생산 계층을 구동합니다 — Pre-Production Agent(씬별 스토리라인·시각 자산 → 통합 스토리보드) → Production Agent 하위의 Keyframe Agent(캐릭터·배경 앵커) → Video Agent(모션) → Audio Agent(내레이션·음악) → 마지막에 MLLM Judge가 세 차원으로 편집본을 비평하고, factored reward signal을 MAB로 되돌려 다음 생성 루프를 개선합니다.

  • 전역 루프: strategic steering(전략적 조향)
  • 지역 루프: multi-stage production(다단계 생산)

"This top-down steering guarantees that the entire pipeline operates under a unified vision."

4. 기둥 ② — CANVAS: 도둑의 모자가 사라지지 않는 이유

CANVAS(Continuity-Aware Narratives via Visual Agentic Story보딩)는 캐릭터·장소·오브젝트 상태의 구조화된 표현을 서사가 전개되는 동안 유지합니다. 시각 앵커를 메모리에서 검색하거나 새로 초기화해, 같은 장면으로 복귀했을 때도 공간 구조가 보존됩니다.

박물관 도둑 사건(museum heist) 시퀀스 비교 (HardContinuityBench):

방법 관찰된 결함
Gemini-3.1-Pro 단독 prop inconsistency(유물이 바뀜), background drift(방 배치가 변함)
AutoStudio 캐릭터 드리프트(도둑의 모자가 사라짐), 배경 불일치
CANVAS 캐릭터·공간 기하·오브젝트 상태가 서사 전체에서 일관 유지

5. 기둥 ③ — A²RD: 10분 분량을 이어 붙이는 두 가지 모드

A²RD는 세그먼트 단위 생성에 멀티모달 비디오 메모리를 결합한 자율회귀 아키텍처입니다. 각 세그먼트는 retrieve → synthesize → refine → update 루프를 수행하며, 생성 모드를 자동 전환합니다.

  • Extrapolation(외삽): 플롯을 새로운 서사 비트로 밀어推进 — 스토리가 나아가야 할 때
  • Interpolation(내삽): 기존 인물·환경에 세그먼트를 앵커 — 물리적 현실을 지켜야 할 때

결과적으로 10분 분량의 연속 영상에서 오프닝 샷부터 마지막 프레임까지 캐릭터 정체성·의상·구조 기하가 유지됩니다. 표준 영상 생성기의 "visual decay(캐릭터가 변형·장소가 뒤틀림)"와 대비됩니다.

6. 기둥 ④ — VQQA: 픽셀이 아니라 프롬프트를 고친다

VQQA(Video Quality Question Answering)는 프롬프트에 맞는 시각 질문을 동적 생성하고, VLM 비평을 시맨틱 그라디언트(자연어 방향성 피드백)로 사용합니다. 핵심 설계 두 가지는 다음과 같습니다.

  • Global Selection: 마지막 반복의 출력을 맹목적으로 채택하지 않고, 최적화 궤적상 모든 영상을 원본 프롬프트 기준으로 글로벌 VLM 레이터가 채점해 최고 점수 후보를 선택 — 국소 수정이 전체 맥락을 해치지 않도록
  • 블랙박스 프롬프트 옵티마이저: 픽셀을 직접 편집하지 않고 텍스트 프롬프트를 반복 정제해 레이턴트 공간에서 새 경로를 샘플링

실증 사례:

사례 프롬프트 베이스 모델 실패 VQQA 결과
속성 결합 "A cuboid balloon drifts past a circular window..." 풍선 특성 상실, 딱딱한 무질감 큐브로 렌더 각진 육면체 형태를 유지하면서 팽창한 풍선의 질감·재질 표현
시간적 비일관성 "Violinist and pianist captivate with harmonious duet performance." 컷 전환 시 여자 피아니스트가 바이올린을 연주하는 심각한 연속성 파열 피아니스트·바이올린 연주자가 각자 악기에 일관되게 앵커

7. 벤치마크와 정량 결과

새로운 3개 벤치마크는 전문 영상 제작의 도전 과제를 반영하도록 설계되었습니다.

벤치마크 층위 구성
GenAD-Bench 마케팅 제약의 정확성 가상 브랜드 50개(각 4개 제품), 400개 고유 시나리오. Gemini 3 Pro + 특화 이미지 모델의 human-in-the-loop 파이프라인으로 구축, 저작권 충돌·학습 선입견 배제
HardContinuityBench 공간·환경 연속성 GPT-5.2 멀티샷 서사 스토리보드로 생성. 장면 재출현 시的巨大 간격, 잦은 의상·소품 변경, 복잡한 오브젝트 상태 변화
LVBench-C 장기 시간 동태 텍스트 전용 시나리오 120개(진화하는 캐릭터 상태 / 변화하는 오브젝트 속성 / 점진적 환경 노출 3군). 핵심 시각 자산이 최소 10 세그먼트 사라진 뒤 서사적으로 변화해 복귀해야 하는 엄격한 간격 규칙

프레임워크별 평가 결과:

프레임워크 평가 벤치마크 결과
AI video co-director GenAD-Bench, ViStoryBench GenAD-Bench 최고 품질 점수 81.4, ViStoryBench에서 향상된 스토리 일관성
CANVAS ST-Bench, HardContinuityBench 장면 재출현 시 연속성 상당 폭 향상
A²RD VBench-Long, LVBench-C 연속 다분(多分) 구간에서 레이아웃 드리프트 최소화, 캐릭터·환경 일관성 개선
VQQA T2V-CompBench, VBench2, VBench-I2V 물리·구성 비일관성 해소, 뚜렷한 절대 품질 향상

8. 관점 포인트 — 실무자가 짚어야 할 5가지

  • ① 선형 체인의 한계를 먼저 진단하라 — 모듈 연결만으로는 드리프트가 구조적으로 발생한다. credit assignment가 불가능한 설계는 오류 소급이 안 된다.
  • ② 오케스트레이션 레이어와 파운데이션 모델을 분리하라 — co-director는 model-agnostic이며 어떤 생성 모델 위에도 올릴 수 있다. 안전장치(SynthID)는 파운데이션에서 상속된다.
  • ③ 일관성은 '세계 상태'로 관리하라 — 캐릭터·장소·오브젝트 상태의 구조화 표현이 없으면 비연속 전환(카메라가 다른 곳을 다녀온 뒤 복귀)에서 반드시 깨진다.
  • ④ 최적화는 전역과 지역 두 루프로 나눠라 — 전략 조향 루프와 다단계 생산 루프가 factored reward로 연결되는 구조가 핵심이다.
  • ⑤ 평가는 마지막 출력이 아니라 궤적 전체를 보라 — VQQA의 Global Selection처럼 "마지막 반복 = 최선"이라는 가정이 드리프트를 부른다.

9. 최종 핵심 정리

이 글을 읽고 확인해야 할 질문:

  • 장형 영상 생성의 근본 한계를 '연결의 실패'로 정의했는가?
  • 4대 기둥(① co-director → ② CANVAS → ③ A²RD → ④ VQQA)이 각각 어느 병목을 담당하는지 설명할 수 있는가?
  • MAB의 세 창작 차원(의도·서사 구조·시각 톤)과 두 루프(전략 조향·다단계 생산)를 구분할 수 있는가?
  • 3개 벤치마크의 구성 수치(50개 브랜드 / 400개 시나리오 / 120개 시나리오 / 최소 10 세그먼트 간격)를 기억하는가?
  • GenAD-Bench 최고 점수 81.4와 프레임워크별 평가 벤치마크 매핑이 정확한가?

한 줄 요약: Google은 "고품질 클립을 잇는 것"이 아니라 "창작 의도·시각 연속성·시간 동태·품질 정제를 각각 전역 최적화 문제로 푸는 4개 프레임워크"를 통해서만 10분짜리 일관된 영상에 도달할 수 있다고 증명했다.