SEARCH
AI 지식 검색
RESULTS
#NLP 문서
개념·기술
Attention
입력의 여러 위치 가운데 현재 예측에 더 관련된 정보에 가중치를 두어 표현을 결합하는 신경망 메커니즘.
개념·기술
Tokenization
텍스트를 모델이 처리할 수 있는 토큰 단위와 정수 ID의 열로 변환하는 전처리·표현 단계.
모델
BERT
양방향 문맥을 사전학습하고 다양한 자연어 처리 과제에 미세조정하는 Transformer 인코더 계열 모델.
개념·기술
Embedding
단어·문장·문서 등의 의미적 특징을 연속 벡터 공간에 표현하는 방법.
개념·기술
Transformer
어텐션을 중심으로 시퀀스를 처리하는 신경망 아키텍처.
모델
대규모 언어 모델 (LLM)
대규모 데이터와 모델 규모를 바탕으로 언어를 학습하는 범용 언어 모델 계열.