개념·기술
설명·출처에서 언급
Mixture of Experts (MoE)
입력마다 일부 전문가 모듈만 선택적으로 활성화해 모델 용량과 계산량을 분리하려는 희소 모델 구조.
↳ Mixture of Experts↳ MoE
#MoE#Scaling#Sparse Model#Transformer
2026.10.12 06:38
모델
설명·출처에서 언급
BERT
양방향 문맥을 사전학습하고 다양한 자연어 처리 과제에 미세조정하는 Transformer 인코더 계열 모델.
↳ Bidirectional Encoder Representations from Transformers
#BERT#Fine-tuning#NLP#Transformer
2026.10.12 06:38
개념·기술
설명·출처에서 언급
Attention
입력의 여러 위치 가운데 현재 예측에 더 관련된 정보에 가중치를 두어 표현을 결합하는 신경망 메커니즘.
#Attention#NLP#Transformer
2026.10.12 06:38