개요
월드 모델은 관찰한 환경의 상태와 변화 규칙을 학습해, 다음에 무엇이 일어날지 예측하는 모델이다. 행동을 입력으로 받으면 '이 행동을 했을 때'의 가능한 결과도 예측할 수 있다. 2018년 World Models 원논문 ↗은 압축한 시공간 표현과 그 안에서 학습한 정책을 연구했다.[1] 여기서 세계는 우주 전체가 아니라 모델이 다루는 게임·장면·작업 환경을 뜻한다.
Multimodal AI는 어떤 입력을 함께 다루는지, 월드 모델은 환경이 어떻게 변하는지, AI Agent는 어떤 행동을 선택하는지를 묻는 관점이다. 하나의 시스템이 이 역할을 함께 가질 수 있지만 같은 개념은 아니다.
상태·행동·예측의 구조
DreamerV3의 방법 설명 ↗은 관찰을 압축한 상태, 행동에 따른 미래 상태·보상 예측, 행동을 고르는 정책을 구분한다.[2] 모든 월드 모델이 같은 구조를 쓰는 것은 아니다. 다음은 이 차이를 이해하기 위한 단순화다.
현재 관찰을 상태 z로 표현하고, 행동 a를 넣어 다음 상태의 분포를 예측한다. 한 가지 미래만 확정하는 대신 여러 가능한 결과를 둘 수 있다. 정책은 그 예측을 사용해 행동을 고르고, 실제 새 관찰로 예측과 현실의 차이를 갱신한다. 화면을 그리는 디코더가 없어도 잠재 상태 안에서 계획할 수 있으므로, 월드 모델을 동영상 생성기 하나로 정의하면 범위가 좁아진다.
2026년 10월 확인: Genie와 Project Genie
자료 확인일은 2026년 10월 20일이다. Google DeepMind의 Genie 3 모델 페이지 ↗는 실시간 상호작용 환경 생성과 현재의 행동 범위·장소 정확도·상호작용 시간 한계를 함께 설명한다.[3] 모델 이름 Genie와 이용용 프로토타입 Project Genie를 구별한다.
2026년 5월 19일 공식 발표 ↗는 Project Genie의 Street View 기반 기능과 접근 확대를 소개했다.[4] 따라서 1월 출시 때의 미국 한정 안내를 현재의 전체 이용 조건으로 옮기면 안 된다. 실제 장소 이미지를 출발점으로 쓴다는 사실도 이후 생성된 장면 전체가 측량·물리 검증을 마쳤다는 뜻은 아니다. 이용 지역·계정 조건은 사용 시점의 공식 안내를 다시 확인한다.
가상 사례: 두 경로의 선택
다음은 교육용 가상 사례다. 창고 로봇의 경로 A는 예측 시간 8초에 물체 접촉 확률 0.20, 경로 B는 11초에 0.02라고 하자. 시간을 줄이는 목표만 있으면 A를 택할 수 있지만 '접촉 예측이 0.05 이하'라는 제약이 있다면 B만 후보에 남는다. 이 값은 제품 성능이나 안전 기준이 아니다.
더 중요한 조건은 접촉 확률의 보정 여부다. 예측 0.02가 실제로 어떤 빈도와 대응하는지 확인하지 않았다면 작은 숫자가 정당화된 신뢰를 주지 못한다. 학습 때 없던 투명한 장애물은 두 경로 예측을 모두 틀리게 만들 수 있다. Physical AI에서는 실제 장치의 관찰·제어·정지 체계와 함께 별도로 검증해야 한다.
평가: 영상 품질과 행동의 유효성
평가에서는 영상의 자연스러움, 행동에 맞게 달라지는 결과, 보이지 않게 된 물체의 일관성, 긴 시간의 예측 오차와 최종 작업 성공을 나눠 본다. 영상이 그럴듯해도 같은 출발 상태에서 오른쪽으로 돌라는 행동 입력에 반응하지 않으면, 그 용도에 필요한 행동 모델로는 부족할 수 있다. 이는 ORBiS Tree의 평가 틀이며 특정 제품의 공식 점수표가 아니다.
초기 상태, 행동 순서, 예측 시간 범위, 관찰할 수 있는 정보와 계산 예산을 맞춰 비교한다. 학습에 포함하지 않은 조건을 시험하고 실패도 저장한다. Benchmark Data Contamination은 평가 자료와의 겹침을, Data Provenance는 생성 자료와 실제 관찰의 구분을 살펴보는 연결점이다.
한계와 현실 검증
자료에서 학습한 상관관계가 실제로 개입했을 때의 인과 효과와 같지는 않을 수 있다. 예측을 반복하면 작은 오차가 누적될 수 있으며, 모델 안에서 보상을 얻는 행동이 모델 밖에서도 성공한다는 보장은 없다. 낯선 조건에서는 불확실성을 과소평가할 수도 있다.
생성 환경에서 학습한 결과, 그 환경 안에서 평가한 결과, 독립적인 실제 환경에서 평가한 결과를 나눠 보고한다. Safety Evaluation에는 환경과 제외 조건을, Model Card에는 의도한 용도를 남긴다. 최근 시연 하나로 일반적인 물리 이해나 현장 적용이 검증됐다고 결론하지 않는다.
관련 문서
AI Agent에서 행동 선택을, Physical AI에서 현실과의 접점을, Multimodal AI에서 입력 통합을 이어 읽을 수 있다. 연구 자동화는 Automated AI Researcher, 개선하는 시스템 자체의 반복 변화는 Recursive Self-Improvement에서 다룬다.