ORBiS Tree

ORBiS TREE DOCUMENT

개념·기술 →

Multimodal AI

텍스트·이미지·오디오·영상 등 서로 다른 형태의 정보를 함께 표현하거나 처리하는 AI 접근법.

#Foundation Model#Multimodal#Vision-Language
역사
최근 수정 2026.08.29 06:47 출처 2

개요

Multimodal AI는 텍스트, 이미지, 오디오, 영상처럼 서로 다른 형태의 데이터를 함께 학습하거나 입력·출력으로 다루는 AI 시스템을 가리키는 넓은 표현이다. 하나의 고정된 아키텍처가 아니라 여러 결합 방식과 학습 목표를 포함한다.

대표적 연구 흐름

CLIP은 대규모 이미지-텍스트 쌍에서 어떤 캡션이 어떤 이미지와 대응하는지 학습해, 자연어를 이용한 이미지 개념의 제로샷 전이를 연구했다.[1] Flamingo는 사전학습된 시각 모델과 언어 모델을 연결해 이미지·영상과 텍스트가 섞인 입력을 처리하는 시각-언어 모델을 제시했다.[2]

관계

멀티모달 시스템의 언어 부분에는 LLM이 사용될 수 있고, 대규모 사전학습 관점에서는 Foundation Model 논의와도 연결된다.

SOURCES

출처

  1. Learning Transferable Visual Models From Natural Language Supervision OpenAI / arXiv
    원문 보기 ↗
  2. Flamingo: a Visual Language Model for Few-Shot Learning DeepMind / arXiv
    원문 보기 ↗

KNOWLEDGE LINKS

Foundation Model → 대규모 언어 모델 (LLM) →

BACKLINKS

Diffusion Model 개념·기술 Gemini 모델

KEEP EXPLORING

같이 보면 좋은 문서

Latency and Throughput AI 서비스에서 한 요청의 응답 시간과 일정 시간 동안 처리할 수 있는 작업량을 구분해 보는 성능 지표. GPU 많은 연산을 병렬로 처리하도록 설계된 프로세서로 현대 AI 학습과 추론의 핵심 가속 하드웨어 중 하나. Context Window 언어 모델이 한 번의 처리에서 참조할 수 있도록 입력으로 구성하는 토큰 문맥 범위. KV Cache 자동회귀 Transformer가 이전 토큰의 key·value 표현을 재사용하기 위해 저장하는 추론 메모리. Inference 학습된 AI 모델에 새로운 입력을 넣어 예측이나 생성 결과를 계산하는 실행 단계. Knowledge Distillation 큰 모델의 출력 분포나 내부 지식을 작은 모델의 학습 신호로 활용해 성능을 이전하는 모델 압축 접근법.
이 문서의 내용은 사용자 편집을 통해 계속 개선될 수 있습니다.
미작성 문서