개요
GPT는 Generative Pre-trained Transformer의 약자로, OpenAI가 발전시켜 온 생성형 사전학습 언어 모델 계열을 가리킨다. GPT는 하나의 단일 제품명이 아니라 여러 세대의 모델을 묶어 부르는 계보다.
사전학습과 전이학습
초기 GPT 연구는 대규모 비라벨 텍스트에서 생성형 언어 모델을 먼저 사전학습한 뒤, 여러 자연어 이해 과제에 미세조정하는 전이학습 방식을 제시했다.[1] 핵심은 과제마다 처음부터 모델을 학습하기보다, 먼저 폭넓은 언어 패턴을 학습한 모델을 다양한 작업에 재사용하는 데 있다.
Transformer와 자동회귀 생성
GPT의 구조적 기반은 Transformer다. GPT 계열은 주어진 앞선 토큰을 바탕으로 다음 토큰의 확률 분포를 예측하고, 그 과정을 반복해 텍스트를 생성하는 자동회귀 방식을 사용한다. 이런 구조 덕분에 하나의 모델이 질의응답, 요약, 분류, 초안 작성 등 서로 다른 언어 작업을 프롬프트에 따라 수행할 수 있다.
GPT-3와 인컨텍스트 학습
GPT-3 연구는 모델 규모를 크게 확장하고, 과제별 가중치 업데이트 없이 텍스트 프롬프트의 지시와 예시만으로 여러 작업을 수행하는 zero-shot·one-shot·few-shot 방식을 체계적으로 평가했다.[2] 이 흐름은 '모델을 매번 다시 학습한다'는 방식에서 '문맥과 지시로 모델 행동을 조정한다'는 활용 방식으로 무게중심을 넓혔다.
모델 계열과 제품은 다르다
GPT라는 이름은 모델 계열을 뜻하고, ChatGPT는 사용자가 대화형 인터페이스에서 AI를 이용하도록 제공되는 서비스다. 따라서 특정 시점의 ChatGPT 기능을 GPT라는 모델명만으로 설명하거나, 반대로 GPT 계열 전체를 ChatGPT와 같은 것으로 보는 것은 정확하지 않다.
관련 개념
GPT는 LLM의 대표적인 계보 중 하나다. GPT를 이해하려면 기반 구조인 Transformer, 실제 서비스 계층인 ChatGPT, 개발 조직인 OpenAI를 서로 구분해 보는 것이 유용하다.
세대·변형·제품 이름을 구분하기
GPT-6 Astra처럼 세대와 변형 이름이 함께 표시된 모델은 GPT 계열 안의 특정 선택지다. OpenAI의 현재 안내는 Astra·Sol·Luna 등 모델별 작업 특성을 설명한다.[3] ChatGPT Work 같은 작업 환경은 모델을 도구·파일과 연결하는 제품 층위다.[4] 서로 다른 모델 이름을 같은 서비스 기능의 별명으로 쓰면 제공 범위를 혼동할 수 있다.
실제 과제로 모델 선택하기
다음은 ORBiS Tree의 가상 비교 틀이다. 같은 자료와 질문으로 정확도, 누락된 요구, 출처 확인, 처리 시간과 검토 부담을 기록한다. 첫 답변이 길거나 자신감 있다는 이유만으로 더 좋은 모델이라고 판단하지 않는다. 도구를 사용하는 과제라면 모델 호출 비용과 도구 실행·재시도에 든 비용을 함께 기록한다.
확인되지 않은 숫자를 추정하지 않기
모델 이름의 숫자나 변형 이름에서 파라미터 수·가격·문맥 길이·벤치마크 점수를 추정할 수는 없다. 공식 안내에 공개된 범위와 실제 평가 조건을 확인한다. 계정과 작업 환경에 따라 제공 모델이 달라질 수 있으므로 도입 시점의 조건을 기록해 두는 편이 좋다.[3] Model Card와 Safety Evaluation은 평가 범위와 한계를 읽는 연결 문서다.
다음 토큰 확률이 사실의 확률은 아니다
GPT의 자동회귀 생성은 앞선 토큰을 조건으로 다음 토큰을 고르고 그 결과를 문맥에 이어 붙이는 과정이다. 가상의 분류 출력에서 다음 토큰 A의 확률이 0.7, B가 0.3이라고 해도 '현실에서 A가 참일 확률은 70%'라고 그대로 읽을 수 없다. 모델이 이어 쓸 토큰의 분포와 외부 사건의 정답 확률은 다른 대상이다. 숫자는 설명용이며 실제 GPT 출력 분포가 아니다.
생성 설정이 달라지면 같은 입력에서 선택되는 표현이 달라질 수 있고, 유창한 설명에도 잘못된 사실이 포함될 수 있다. 사실 검증은 출력의 자신감과 따로 평가한다. GPT-3 원논문 ↗은 과제별 가중치를 갱신하지 않고 문맥에 지시·예시를 넣는 평가를 설명한다.[2]
토큰·입력 예산·출력 예산을 구분
토큰은 문자나 단어와 항상 일대일로 대응하지 않는다. 한국어 한 글자를 한 토큰으로 가정하거나 영어 단어 수로 모든 모델의 입력 한도를 계산하지 않는다. 실제 토크나이저와 모델별 조건을 확인한다. 문맥 창에는 지시·대화·검색 자료·도구 결과 등 실제로 전달한 정보가 영향을 주며, 출력에 필요한 공간도 확인한다.
예를 들어 원문이 길어졌을 때 답이 규칙을 놓치면 모델의 일반 능력만 평가하기보다 자료 누락·잘림·잘못된 우선순위를 점검한다. 추론 문서에서 입력 처리와 출력 생성의 시간 차이를, 메모리에서 필요한 상태를 다음 요청으로 전달하는 방법을 이어서 읽을 수 있다.
프롬프트·검색·미세조정의 선택 질문
- 분류 기준이나 형식이 불명확하다면 먼저 지시와 작은 정답 예시를 정리한다.
- 최신 사내 규정처럼 바뀌는 근거가 필요하다면 검색과 자료 갱신을 검토한다.
- 반복되는 행동을 학습 데이터로 바꾸려면 미세조정의 목적·자료·평가와 운영 비용을 검토한다.
셋은 함께 사용할 수 있지만 어느 하나가 빠진 출처나 평가를 자동으로 대신하지는 않는다. 비슷한 예시를 프롬프트에 추가하는 것과 실제 가중치를 업데이트하는 것을 기록에서 구분한다.
모델 이름으로 사양을 만들어 내지 않기
현재 모델 안내 ↗는 제공 모델과 이용 환경을 확인하는 원문이다.[3] 모델명에서 파라미터 수·실제 비용·비공개 학습 자료를 역산하지 않는다. Work 안내 ↗와 연결하면 모델을 선택하는 일과 도구로 결과물을 완성하는 일을 구분할 수 있다.[4]
GPT-6 Astra의 과제별 비교, 모델 평가 범위와 조건별 안전성 평가를 참고해 입력·버전·정답 기준·완료 시간·재시도를 같은 조건으로 남긴다. 이름이 다른 두 모델의 결과를 비교할 때 자료까지 다르면 모델 효과를 분리하기 어렵다.