개요
Foundation Model은 광범위한 데이터를 대규모로 학습한 뒤 여러 하위 작업에 적응할 수 있는 모델을 설명하기 위해 Stanford 연구진이 2021년 보고서에서 제시한 용어다.[1] 한국어로는 '기반 모델'이라고도 부른다.
특정 아키텍처의 이름이 아니다
Foundation Model은 Transformer 같은 특정 신경망 구조나 특정 회사의 제품명을 뜻하지 않는다. 핵심은 하나의 대규모 사전학습 모델이 여러 응용의 공통 기반으로 재사용되고, 프롬프트·미세조정·추가 모듈 같은 방법을 통해 여러 하위 작업에 적응될 수 있다는 점이다.[1]
재사용이 만드는 효과
하나의 기반 모델을 여러 서비스와 연구가 공유하면 새로운 응용을 빠르게 만들 수 있다. 반대로 기반 모델의 오류, 편향, 안전 문제도 여러 하위 시스템으로 함께 전파될 수 있다. 원 보고서는 이런 공통 기반으로의 집중을 'homogenization'이라는 관점에서 다루며, 기회와 위험을 함께 평가해야 한다고 강조한다.[1]
평가할 때 봐야 할 것
Foundation Model을 비교할 때는 단순한 파라미터 수만 볼 것이 아니라 어떤 데이터와 목표로 학습됐는지, 어떤 입력·출력을 다루는지, 어떤 방식으로 하위 작업에 적응하는지, 어떤 평가와 제한사항이 공개돼 있는지를 함께 봐야 한다. 같은 기반 모델을 사용해도 실제 응용 시스템의 성능과 위험은 배포 방식에 따라 달라질 수 있다.
LLM과의 관계
LLM은 Foundation Model 논의에서 중요한 사례군이지만 두 용어는 같은 뜻이 아니다. LLM은 언어 모델이라는 대상 범주에 초점을 두고, Foundation Model은 하나의 대규모 사전학습 모델이 여러 하위 응용의 기반이 되는 역할과 생태계적 영향을 강조한다. Foundation Model은 언어뿐 아니라 비전·로보틱스 등 더 넓은 영역을 포함할 수 있다.
구조·모델 범주·응용 역할을 따로 읽기
Stanford CRFM 보고서 ↗는 광범위한 자료로 학습하고 여러 하위 작업에 적응하는 기반의 역할을 설명한다.[1] Transformer는 구조, LLM은 언어 모델 범주, Foundation Model은 응용의 공통 기반이라는 관점이다. 하나의 모델이 이 세 설명에 모두 해당할 수 있지만 용어 자체가 같은 뜻은 아니다.
모델 가중치와 API·대화 서비스도 구분한다. BERT 계열의 입력 판별과 GPT 계열의 순차 생성은 출력 목표가 다르고, 여러 입력 유형을 다루는 기반도 있다. 모델 이름만으로 지원 입력, 외부 검색, 도구 권한이나 공개 가중치 여부를 만들어 내지 않는다. 확인한 사양과 확인하지 못한 정보를 나눠 기록한다.
공통 작업 재사용의 가상 계산
세 응용을 만들 때 공통 기반의 연결·기초 검증에 24시간, 응용별 적응에 각각 4시간이 든다고 가정하자. 공통 작업을 공유하면 24 + 3×4 = 36시간이다. 각 응용에서 같은 공통 작업을 다시 수행하면 3×(24 + 4) = 84시간이다. 48시간의 차이는 이 가정의 중복 작업이며 실제 개발·사전학습 시간이나 보장된 절약 수치가 아니다.
공유 기반에도 통합·유지보수·버전 변경과 회귀 검증이 필요하다. 같은 오류가 여러 응용에 퍼질 수 있으므로 공통 부분의 개선과 응용별 품질을 따로 본다. 적응 학습, 자료 검색과 지시는 서로 다른 부분을 바꾸며 목적에 따라 조합된다.
자료 범위가 같다고 업무 범위도 같지는 않다
가상의 공통 모델을 요약·분류·자료 질의에 재사용하더라도 각 업무의 정답과 실패 조건은 다르다. 요약에서는 원문 조건의 누락, 분류에서는 중요한 클래스의 재현율, 질의에서는 근거의 존재와 충돌을 각각 확인한다. 한 업무의 점수를 다른 업무의 점수로 옮겨 쓰지 않는다.
Datasheets 연구 ↗는 자료의 동기·구성·수집과 용도를 문서화하는 접근을 제안했다.[2] 학습·평가 자료의 언어, 수집 시점, 업무 분포와 중복을 기록하고 비공개 항목은 미확인으로 둔다. 출처 기록과 평가 중복을 연결해야 '광범위하게 학습했다'는 표현을 실제 자료 범위와 비교할 수 있다.
도입 판단을 모델 카드와 응용 시험으로 연결하기
Model Cards 연구 ↗는 용도·성능과 제한을 조건에 맞춰 보고하는 방법을 제안했다.[3] 모델 수준 기록과 실제 서비스 구성을 연결하고 모델·토크나이저·검색 자료·지시·도구 버전을 구분한다. 기본 모델을 바꾸면 기존 응용의 평가가 새 버전에도 성립하는지 다시 확인한다.
작은 가상 자료 질의 시험이라면 정답 근거가 있는 질문, 없는 질문, 서로 충돌하는 질문을 나누고 예상 답·중단 조건·실패 기록을 만든다. 한국어·영어의 표현 차이가 같은 정답을 유지하는지도 확인한다. 이 예시는 고정된 시험 개수나 배포 합격 기준을 정하는 표준이 아니다. 범용 기반의 유용성은 해당 응용의 검증을 통해 판단한다.