ORBiS Tree

ORBiS TREE DOCUMENT

개념·기술 →

Quantization

모델의 가중치나 연산 표현에 더 낮은 정밀도를 사용해 메모리와 계산 비용을 줄이는 모델 압축 기법 계열.

#Inference#LLM#Model Compression#Quantization
역사
최근 수정 2026.08.29 07:26 출처 1

개요

Quantization은 신경망의 가중치나 활성값을 높은 정밀도의 부동소수점 대신 더 적은 비트로 표현해 저장 공간과 계산 비용을 줄이는 기법 계열이다. 낮은 정밀도는 효율을 높일 수 있지만 모델 정확도와 하드웨어 지원 사이의 절충이 필요하다.

대규모 언어 모델

GPTQ 연구는 대형 생성 Transformer의 가중치를 학습 이후 낮은 비트 폭으로 양자화하는 방법을 제안하고, 대규모 모델의 메모리 요구를 크게 낮추면서 성능 저하를 제한하는 문제를 다뤘다.[1]

관계

Quantization은 LLM을 더 작은 메모리 환경에서 실행하려는 대표적 압축 방법 중 하나다. GPT 같은 모델 계열에도 적용될 수 있지만, 어떤 정밀도와 알고리즘이 적합한지는 모델과 하드웨어에 따라 달라진다.

SOURCES

출처

  1. GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers Frantar et al. / arXiv
    원문 보기 ↗

KNOWLEDGE LINKS

GPT → 대규모 언어 모델 (LLM) →

BACKLINKS

Knowledge Distillation 개념·기술

KEEP EXPLORING

같이 보면 좋은 문서

Latency and Throughput AI 서비스에서 한 요청의 응답 시간과 일정 시간 동안 처리할 수 있는 작업량을 구분해 보는 성능 지표. GPU 많은 연산을 병렬로 처리하도록 설계된 프로세서로 현대 AI 학습과 추론의 핵심 가속 하드웨어 중 하나. Context Window 언어 모델이 한 번의 처리에서 참조할 수 있도록 입력으로 구성하는 토큰 문맥 범위. KV Cache 자동회귀 Transformer가 이전 토큰의 key·value 표현을 재사용하기 위해 저장하는 추론 메모리. Inference 학습된 AI 모델에 새로운 입력을 넣어 예측이나 생성 결과를 계산하는 실행 단계. Knowledge Distillation 큰 모델의 출력 분포나 내부 지식을 작은 모델의 학습 신호로 활용해 성능을 이전하는 모델 압축 접근법.
이 문서의 내용은 사용자 편집을 통해 계속 개선될 수 있습니다.
미작성 문서