대규모 언어 모델 (LLM)

대규모 언어 모델(Large Language Model, LLM)은 대규모 텍스트 데이터와 많은 수의 모델 파라미터를 바탕으로 언어의 통계적·구조적 패턴을 학습하는 신경망 언어 모델을 가리키는 넓은 표현이다. 현대 LLM의 상당수는 Transformer 계열 구조를 사용한다.^[1]

모델과 데이터의 규모를 키우면 하나의 모델이 여러 언어 과제를 수행하는 능력이 커질 수 있다. GPT-3 연구에서는 별도의 가중치 업데이트 없이 프롬프트의 예시만으로 다양한 과제를 수행하는 few-shot 성능이 규모와 함께 향상되는 현상을 보고했다.^[2]

LLM은 하나의 고정된 크기 기준으로 정의되기보다, 대규모 사전학습과 넓은 적용 범위를 갖는 언어 모델을 묶어 부르는 실무적 용어로 사용된다. GPT는 대표적인 LLM 계열이며, ChatGPT 같은 제품의 기반 기술로 활용된다.