Transformer

Transformer는 2017년 논문 「Attention Is All You Need」에서 제안된 신경망 아키텍처다.^[1] 원 논문은 순환 신경망(RNN)이나 합성곱 신경망(CNN)에 의존하지 않고 어텐션 메커니즘을 중심으로 시퀀스를 처리하는 구조를 제시했다.

원래 Transformer는 인코더와 디코더 블록을 조합한 기계번역 구조로 제안되었다. 계산을 순차적으로 처리해야 하는 RNN보다 병렬화에 유리한 특성이 있었고, 이후 자연어 처리와 생성형 AI의 핵심 기반 구조로 널리 확장되었다.

GPT 계열은 Transformer의 디코더 계열 구조를 바탕으로 자동회귀 언어 모델을 구성한다. 오늘날 많은 LLM이 Transformer 또는 그 변형을 사용한다.