ORBiS Tree

ORBiS TREE DOCUMENT

개념·기술 →

Inference

학습된 AI 모델에 새로운 입력을 넣어 예측이나 생성 결과를 계산하는 실행 단계.

#Deployment#Inference#LLM#Serving
역사
최근 수정 2026.08.29 07:31 출처 2

개요

Inference는 학습이 끝난 모델에 새로운 입력을 주고 예측이나 생성 결과를 계산하는 단계다. 학습이 모델의 파라미터를 바꾸는 과정이라면, 추론에서는 보통 고정된 파라미터를 사용해 실제 요청을 처리한다.

서비스 환경

실제 서비스에서는 한 번의 추론만 빠르게 실행하는 것뿐 아니라 여러 사용자의 요청을 묶고, 메모리를 관리하고, 지연시간과 처리량을 함께 최적화해야 한다. MLPerf Inference는 다양한 배포 시나리오에서 학습된 모델을 얼마나 빠르게 실행하는지 비교하기 위한 표준화된 벤치마크를 제공한다.[1]

LLM 추론

LLM 서비스에서는 생성 과정에서 KV Cache가 큰 메모리를 차지할 수 있다. vLLM 연구는 이 캐시를 효율적으로 관리하는 PagedAttention을 제안해 같은 지연시간 수준에서 더 높은 처리량을 목표로 했다.[2] 실제 성능은 GPU, 배치 크기, 입력·출력 길이와 시스템 구현에 따라 달라진다.

SOURCES

출처

  1. MLPerf Inference Benchmark MLCommons / arXiv
    원문 보기 ↗
  2. Efficient Memory Management for Large Language Model Serving with PagedAttention UC Berkeley / arXiv
    원문 보기 ↗

KNOWLEDGE LINKS

GPU → KV Cache → 대규모 언어 모델 (LLM) →

BACKLINKS

GPU 개념·기술 KV Cache 개념·기술 Latency and Throughput 개념·기술

KEEP EXPLORING

같이 보면 좋은 문서

Latency and Throughput AI 서비스에서 한 요청의 응답 시간과 일정 시간 동안 처리할 수 있는 작업량을 구분해 보는 성능 지표. Context Window 언어 모델이 한 번의 처리에서 참조할 수 있도록 입력으로 구성하는 토큰 문맥 범위. Knowledge Distillation 큰 모델의 출력 분포나 내부 지식을 작은 모델의 학습 신호로 활용해 성능을 이전하는 모델 압축 접근법. Quantization 모델의 가중치나 연산 표현에 더 낮은 정밀도를 사용해 메모리와 계산 비용을 줄이는 모델 압축 기법 계열. Vector Search 고차원 벡터 사이의 거리나 유사도를 이용해 가까운 항목을 찾는 검색 방식. Attention 입력의 여러 위치 가운데 현재 예측에 더 관련된 정보에 가중치를 두어 표현을 결합하는 신경망 메커니즘.
이 문서의 내용은 사용자 편집을 통해 계속 개선될 수 있습니다.
미작성 문서