무엇이 바뀌었나
텐센트와 싱가포르국립대, 홍콩이공대 연구진이 사용자가 직접 조작할 수 있는 동영상 생성 월드모델 H3-World를 공개했다. 첫 화면을 입력하면 모델이 그다음 장면을 영상으로 이어서 만들고 전진·후진·좌우 이동이나 카메라 회전 같은 지시에 반응한다. 게임 화면을 미리 렌더링해 보여주는 방식이 아니라 모델이 다음 영상 구간을 계속 생성하는 구조다.
기반 모델은 330억 개 파라미터 규모의 MiniMax-H3다. 논문에 따르면 이 작업은 텐센트 연구 인턴십에서 진행됐다. 따라서 현재의 H3-World는 텐센트가 독자적으로 출시한 상용 서비스라기보다 연구 결과와 코드·체크포인트를 공개한 프로젝트로 보는 편이 정확하다.
왜 지금 중요한가
최근 월드모델 경쟁의 초점은 장면을 그럴듯하게 만드는 데서, 장면 안에서 행동의 결과를 일관되게 보여주는 쪽으로 옮겨가고 있다. 동영상 생성 모델이 아무리 현실적인 화면을 만들어도 사용자의 입력에 맞춰 캐릭터와 시점을 안정적으로 움직이지 못하면 게임이나 시뮬레이터로 활용하기 어렵다.
H3-World는 제어 기능을 처음부터 별도로 학습해야 하는지에 대한 다른 접근을 제시한다. 연구진은 MiniMax-H3가 이미 자연어로 인물의 움직임과 카메라 동작을 어느 정도 이해한다는 점에 주목했다. 그래서 기존 능력을 버리는 대신, 게임 조작을 모델이 이해할 수 있는 언어 지시로 바꿔 입력했다.
어떻게 작동하나
사용자가 누른 키는 “캐릭터가 앞으로 이동하고 카메라는 정면을 유지한다”와 같은 구조화된 문장으로 바뀐다. 이 지시는 영상 전체에 한꺼번에 적용되지 않고 특정 시간 구간의 영상 잠재변수에 연결된다. 예를 들어 앞으로 이동하다가 오른쪽으로 방향을 바꾸는 장면에서는 두 지시가 각각 알맞은 시점에 작동한다.
이를 위해 H3-World는 시간별 주의집중 경로를 제한하는 temporal attention routing을 사용한다. 연구진은 이 장치가 한 행동에 대한 지시가 다른 시간대의 움직임으로 번지는 현상을 줄인다고 설명한다. 별도 행동 인코더나 전용 제어 모듈을 추가하지 않고 MiniMax-H3의 기존 텍스트 처리 경로를 활용한 점도 눈에 띈다.
기존 방식과 무엇이 다른가
기존 인터랙티브 영상 모델은 키보드 입력을 별도의 행동 임베딩으로 바꾸거나 카메라 좌표와 움직임 정보를 전용 모듈에 넣는 경우가 많다. 조작 신호를 명확하게 표현할 수 있다는 장점이 있지만 대규모 영상 사전학습 모델에 새로운 제어 체계를 다시 맞춰야 한다는 부담도 따른다.
H3-World는 언어를 행동 인터페이스로 삼는다. 연구진이 공개한 실험에서는 8,000개의 게임플레이 샘플과 1만 회의 LoRA 최적화를 사용했으며 전체 기반 모델 중 학습 대상 파라미터는 0.199%라고 밝혔다. 다만 이 수치는 미세조정에 필요한 비용과 학습량이 작다는 뜻이지 추론에 필요한 하드웨어까지 가볍다는 의미는 아니다.
실제 사용 방식과 파급효과
공개 저장소에는 첫 프레임과 장면 설명을 입력한 뒤, 전진·후진·좌우 이동·카메라 상하좌우 회전 중 하나를 선택해 영상을 생성하는 예제가 포함돼 있다. 기본 설정에서는 5.2초 분량의 전진 영상을 만든다. 사용자가 직접 찍은 이미지를 넣을 수도 있지만 필요한 경우 입력 이미지가 832×480 해상도로 중앙 크롭된다.
개발자에게는 기존 영상 생성 모델에 조작성을 덧붙여 보는 실험용 출발점이 될 수 있다. 게임 제작사는 초기 콘셉트를 검증하거나 장면을 탐색하는 데, 연구자는 로봇·에이전트가 행동 결과를 시각적으로 예측하는 실험에 활용할 여지가 있다. 다만 게임 엔진을 대체하거나 실제 게임의 규칙과 상태를 그대로 실행하는 프로젝트는 아니다.
한계와 주의점
H3-World가 생성하는 것은 행동에 반응하는 영상이다. 공개 자료만으로 물리 법칙과 게임 규칙을 정확히 유지하는 시뮬레이터라고 단정하기는 어렵다. 논문은 학습 과정에서 보지 못한 행동 조합과 다른 초기 화면에서도 제어가 이뤄졌다고 보고하지만 긴 시간 동안 공간과 객체의 상태가 얼마나 안정적으로 유지되는지는 별도로 검증해야 한다.
실행 장벽도 만만치 않다. 저장소는 MiniMax-H3 기본 가중치가 약 135GB라고 안내하며 특정 DiffSynth-Studio 버전과 패치도 요구한다. 체크포인트가 공개됐다는 사실과 누구나 즉시 로컬에서 원활하게 사용할 수 있다는 사실은 구분해서 봐야 한다.
앞으로의 관전 포인트
첫 번째는 짧은 영상 클립을 넘어 긴 시간 동안 같은 세계를 유지할 수 있는지다. 캐릭터가 이동한 뒤 이전 장소로 돌아왔을 때 건물과 물체의 위치가 그대로인지 행동이 누적되면서 장면의 상태가 실제로 바뀌는지가 중요하다.
두 번째는 언어 기반 제어가 어디까지 확장되는지다. 현재 공개된 예시는 이동과 카메라 조작에 집중돼 있다. 여러 캐릭터의 상호작용, 물체 집기, 충돌과 규칙 기반 사건까지 자연어로 안정적으로 연결할 수 있다면 게임과 시뮬레이션에서의 활용도도 커질 수 있다.
자주 묻는 질문
H3-World는 텐센트의 상용 서비스인가?
현재 확인되는 핵심 자료는 2026년 9월 공개된 논문과 GitHub·Hugging Face 저장소다. 논문에는 연구가 텐센트 인턴십에서 수행됐다고 적혀 있지만 일반 사용자를 위한 텐센트 공식 상용 서비스 출시 공지가 확인된 것은 아니다. 따라서 H3-World는 연구 프로젝트로 이해하는 것이 안전하다.
H3-World와 MiniMax-H3는 같은 모델인가?
아니다. MiniMax-H3는 기반이 되는 330억 파라미터 영상 생성 모델이고 H3-World는 여기에 LoRA 방식의 경량 조정과 시간별 제어 방식을 적용한 프레임워크·체크포인트다. H3-World는 MiniMax-H3의 언어 이해와 영상 생성 능력을 활용해 조작 가능한 출력을 만드는 구조다.
어떤 입력으로 사용할 수 있나?
공개 예제 기준으로 첫 화면 이미지와 장면 설명, 행동 프리셋을 입력한다. 전진·후진·스트레이프·카메라 팬과 틸트 같은 조작을 제공하며 키 입력과 언어 지시의 대응표도 저장소에 공개돼 있다.
실시간 게임처럼 바로 플레이할 수 있나?
공개된 예제는 입력에 따라 영상 클립을 생성하는 연구용 추론 파이프라인이다. 공개 자료만으로 상용 게임 수준의 지연시간이나 장기 상태 유지, 충돌 판정과 멀티플레이를 보장한다고 보기는 어렵다.
로컬 실행에 고성능 장비가 필요한가?
그렇다. 저장소가 안내한 기본 가중치 용량만 약 135GB이고 CUDA와 특정 라이브러리 버전도 요구한다. 학습 대상 파라미터 비율이 작다는 점은 미세조정 효율에 관한 수치이지 추론 장비 요구량이 작다는 의미는 아니다.
한눈에 정리
H3-World의 핵심은 게임 조작을 새로운 전용 신호로 학습하는 대신, MiniMax-H3가 이미 이해하는 언어로 바꿔 영상의 특정 시간 구간에 연결한 데 있다. 덕분에 첫 화면에서 출발해 캐릭터와 카메라가 지시에 반응하는 영상을 생성할 수 있다.
공개 데모와 코드를 볼 때는 “얼마나 그럴듯한가”와 “얼마나 오래 같은 세계를 유지하는가”를 나눠서 봐야 한다. 개발자는 저장소의 모델 용량과 실행 조건을 먼저 확인할 필요가 있다. 기업 입장에서는 완성된 게임 엔진이라기보다 영상 기반 인터랙션과 시뮬레이션을 시험해 보는 연구 출발점에 가깝다.