개념·기술
Knowledge Distillation
큰 모델의 출력 분포나 내부 지식을 작은 모델의 학습 신호로 활용해 성능을 이전하는 모델 압축 접근법.
#Knowledge Distillation#Model Compression#Teacher Student
2026.08.29 07:26
개념·기술
Quantization
모델의 가중치나 연산 표현에 더 낮은 정밀도를 사용해 메모리와 계산 비용을 줄이는 모델 압축 기법 계열.
#Inference#LLM#Model Compression#Quantization
2026.08.29 07:26