BERT

BERT(Bidirectional Encoder Representations from Transformers)는 Google 연구진이 2018년에 공개한 언어 표현 모델이다. 모든 층에서 왼쪽과 오른쪽 문맥을 함께 조건으로 사용해 깊은 양방향 표현을 사전학습하는 방식을 제시했다.^[1]

BERT는 Transformer의 인코더 구조를 바탕으로 하며, 사전학습 뒤 비교적 작은 과제별 출력층을 붙여 질문응답·문장 관계 추론 같은 여러 자연어 처리 과제에 미세조정할 수 있도록 설계됐다.^[1]

BERT는 대규모 사전학습 모델을 여러 하위 과제에 적응시키는 흐름을 대표하는 모델 중 하나다. 생성형 자동회귀 모델인 GPT와는 Transformer를 활용하는 방식과 학습 목표가 다르다.