개요
Multimodal AI는 텍스트, 이미지, 오디오, 영상처럼 서로 다른 형태의 데이터를 함께 학습하거나 입력·출력으로 다루는 AI 시스템을 가리키는 넓은 표현이다. 하나의 고정된 아키텍처가 아니라 여러 결합 방식과 학습 목표를 포함한다.
대표적 연구 흐름
CLIP은 대규모 이미지-텍스트 쌍에서 어떤 캡션이 어떤 이미지와 대응하는지 학습해, 자연어를 이용한 이미지 개념의 제로샷 전이를 연구했다.[1] Flamingo는 사전학습된 시각 모델과 언어 모델을 연결해 이미지·영상과 텍스트가 섞인 입력을 처리하는 시각-언어 모델을 제시했다.[2]
관계
멀티모달 시스템의 언어 부분에는 LLM이 사용될 수 있고, 대규모 사전학습 관점에서는 Foundation Model 논의와도 연결된다.
모달리티를 결합하는 방식
멀티모달 시스템은 서로 다른 입력을 단순히 한 화면에서 받는 것과, 서로 다른 모달리티 사이의 관계를 공동 표현 공간에서 학습하는 것을 구분해 볼 필요가 있다. CLIP은 이미지와 텍스트를 같은 의미 공간에서 대응시키는 대조학습 흐름을 보여줬고,[1] Flamingo는 이미 학습된 시각 인코더와 언어 모델 사이에 연결 구조를 두어 이미지·영상과 텍스트가 섞인 문맥을 처리했다.[2] 즉 '멀티모달'이라는 이름만으로 내부 결합 방식이 동일하다고 볼 수 없다.
실제 시스템에서 확인할 점
어떤 모달리티를 입력으로 받을 수 있는지와 어떤 모달리티를 출력할 수 있는지는 별개의 사양이다. 이미지 입력을 이해하는 모델이 반드시 이미지를 생성하는 것은 아니며, 긴 영상·고해상도 이미지·오디오처럼 입력량이 커지면 전처리와 추론 비용도 달라진다. 실제 제품을 비교할 때는 지원 형식, 한 번에 처리할 수 있는 입력 범위, 출력 형식, 지연시간과 평가 조건을 함께 확인하는 것이 좋다.
한계와 평가
멀티모달 모델은 한 모달리티에서 얻은 단서를 다른 모달리티와 잘 연결하는지가 중요하다. 텍스트 설명만 그럴듯하게 생성한다고 해서 이미지나 영상의 세부 내용을 정확히 근거로 삼았다고 단정할 수 없다. 따라서 시각·언어 정합성, 특정 모달리티의 누락, 복합 입력에서의 오류를 각각 평가할 필요가 있다.
실시간 멀티모달 AI와 인터페이스
실시간 멀티모달 AI는 음성·화면·영상 등 시간에 따라 바뀌는 입력을 함께 활용하는 시스템을 설명하는 표현이다. Multimodal AI interface에서는 단순히 입력 종류를 늘리는 것뿐 아니라 언제 관찰한 정보인지가 중요하다. OpenAI의 음성·Realtime 안내는 실시간 음성 대화, 끼어들기와 도구 사용의 구성을 설명한다.[3][4] 이 사례를 모든 멀티모달 모델의 기능으로 일반화할 수는 없다.
사례: 화면을 보며 항목 설명하기
다음은 가상 사례다. 사용자가 화면을 바꾼 뒤 '이 항목을 설명해 줘'라고 말했는데 모델에 전달된 이미지는 이전 화면이라고 하자. 음성 인식과 이미지 이해가 각각 맞더라도 전체 답변은 엉뚱한 항목을 설명할 수 있다. 화면 캡처 시점, 발화 시점과 실제로 사용한 자료를 함께 확인해야 원인을 찾을 수 있다.
함께 평가할 항목
입력별 정확도, 시간 동기화, 정정 발화, 연결 끊김과 도구 실패를 나누어 기록한다. 화면에서 문장을 읽는 능력과 버튼을 누를 권한은 다르다. Voice AI는 Full-duplex voice AI와 AI voice replication의 차이를, AI Agent Oversight는 행동의 실행·검토 경계를 설명한다. 여러 입력을 사용한다는 사실만으로 더 정확하거나 더 안전하다고 판단하지 않는다.
이미지·음성·영상이 결합되는 지점
CLIP 논문 ↗은 이미지와 텍스트를 대응시키는 학습을, Flamingo 논문 ↗은 시각 모델과 언어 모델을 연결해 시각·텍스트가 섞인 문맥을 처리하는 방식을 보여 준다.[1][2] 둘을 모두 멀티모달이라고 부를 수 있지만 결합 방식과 과제는 같지 않다. 공동 표현으로 검색하는 것과 자유로운 답을 생성하는 것도 구분한다.
입력 지원과 출력 지원은 따로 확인한다. 이미지를 받아 질문에 답하는 기능이 이미지 생성이나 화면 버튼 조작까지 포함한다는 뜻은 아니다. 모델의 범위와 제품이 제공하는 도구·권한을 함께 기록한다.
예제: 2초 차이로 다른 화면을 설명
다음은 가상 시간선이다. 10초에 화면 A를 캡처했고 11초에 사용자가 화면 B로 이동했으며 12초에 '이 금액을 읽어 줘'라고 말했다고 하자. 모델에 A와 발화만 전달되면 A의 숫자를 정확히 읽고도 사용자의 의도에는 틀릴 수 있다. 원인은 숫자 인식 오류가 아니라 관찰 시점과 지시 대상의 불일치다.
평가 기록에는 입력 종류뿐 아니라 캡처 시각·발화 시각·화면 버전·실제로 사용한 영역을 남긴다. 의도한 화면의 최신 관찰이 없으면 다시 확보하거나 불확실함을 표시하는 대응을 평가한다. 이 예제의 시간은 설명용이며 제품 지연 측정이 아니다.
오류를 입력·결합·답변·행동으로 나눠 찾기
- 입력: 이미지가 잘렸거나 음성이 끊겼는지 확인한다.
- 결합: 같은 사건의 자료인지, 시간·대상·좌표가 일치하는지 본다.
- 답변: 읽힌 숫자와 그 숫자에 대한 해석을 각각 원문과 대조한다.
- 행동: 답에 따라 누른 버튼이나 호출한 도구의 대상·권한·결과를 별도로 확인한다.
가상의 영수증에서 15.00을 50.00으로 읽는 오류와, 15.00을 맞게 읽은 뒤 다른 품목의 가격으로 연결하는 오류는 다르다. 출력의 근거, 입력의 계보와 실행 상태를 연결하면 실패 지점을 좁힐 수 있다.
실시간 인터페이스의 확인 항목
음성 에이전트 안내 ↗와 Realtime 안내 ↗는 음성 중심 시스템의 구성과 동작을 확인할 수 있는 원문이다.[3][4] 끼어들기·발화 정정·연결 끊김 이후에 어떤 자료가 남고 어떤 응답이 취소되는지 확인한다.