GPT는 Generative Pre-trained Transformer의 약자로, OpenAI가 발전시켜 온 생성형 사전학습 언어 모델 계열을 가리킨다. 초기 GPT 연구는 대규모 비라벨 텍스트에서 언어 모델을 생성적으로 사전학습한 뒤, 여러 자연어 이해 과제에 미세조정하는 전이학습 방식을 제시했다.[1]
GPT의 핵심 구조적 기반은 Transformer다. 이후 GPT-3 연구는 모델 규모를 크게 확장하고, 과제별 미세조정 없이 텍스트 프롬프트의 지시와 예시만으로 여러 작업을 수행하는 in-context few-shot 방식을 체계적으로 평가했다.[2]
GPT는 LLM의 대표적인 계보 중 하나이며, ChatGPT의 기술적 기반을 이해할 때 중요한 문서다.
GPT의 핵심 구조적 기반은 Transformer다. 이후 GPT-3 연구는 모델 규모를 크게 확장하고, 과제별 미세조정 없이 텍스트 프롬프트의 지시와 예시만으로 여러 작업을 수행하는 in-context few-shot 방식을 체계적으로 평가했다.[2]
GPT는 LLM의 대표적인 계보 중 하나이며, ChatGPT의 기술적 기반을 이해할 때 중요한 문서다.
SOURCES
출처
KNOWLEDGE LINKS
이 문서에서 연결하는 지식
BACKLINKS