ORBiS Tree

ORBiS TREE DOCUMENT

개념·기술 →

Latency and Throughput

AI 서비스에서 한 요청의 응답 시간과 일정 시간 동안 처리할 수 있는 작업량을 구분해 보는 성능 지표.

#Benchmark#Inference#Latency#Throughput
역사
최근 수정 2026.08.29 07:31 출처 2

개요

Latency는 하나의 요청이 들어온 뒤 결과가 나올 때까지 걸리는 시간을 나타내고, Throughput은 일정 시간 동안 시스템이 처리할 수 있는 요청이나 작업의 양을 나타낸다. 두 지표는 관련되어 있지만 같은 의미가 아니며, 시스템 설정에 따라 서로 절충 관계가 생길 수 있다.

벤치마크에서의 측정

MLPerf Inference는 실제 배포 환경을 반영하기 위해 여러 요청 패턴과 시나리오를 정의하고 지연시간 제약과 처리량 지표를 함께 사용한다.[1] 같은 하드웨어라도 배치 크기와 요청 도착 패턴, 모델과 정확도 조건이 달라지면 결과를 직접 비교하기 어렵다.

LLM 서비스

Inference 시스템에서는 여러 요청을 배치하면 Throughput을 높일 수 있지만 개별 요청의 Latency가 늘 수 있다. vLLM 연구도 높은 동시 처리량을 얻기 위해 요청 배치와 KV Cache 메모리 관리를 중요한 시스템 문제로 다룬다.[2] 따라서 성능 평가는 하나의 숫자보다 사용 시나리오를 먼저 정하는 것이 중요하다.

SOURCES

출처

  1. MLPerf Inference: Datacenter MLCommons
    원문 보기 ↗
  2. Efficient Memory Management for Large Language Model Serving with PagedAttention UC Berkeley / arXiv
    원문 보기 ↗

KNOWLEDGE LINKS

Inference → KV Cache →

KEEP EXPLORING

같이 보면 좋은 문서

GPU 많은 연산을 병렬로 처리하도록 설계된 프로세서로 현대 AI 학습과 추론의 핵심 가속 하드웨어 중 하나. Context Window 언어 모델이 한 번의 처리에서 참조할 수 있도록 입력으로 구성하는 토큰 문맥 범위. Knowledge Distillation 큰 모델의 출력 분포나 내부 지식을 작은 모델의 학습 신호로 활용해 성능을 이전하는 모델 압축 접근법. Quantization 모델의 가중치나 연산 표현에 더 낮은 정밀도를 사용해 메모리와 계산 비용을 줄이는 모델 압축 기법 계열. Vector Search 고차원 벡터 사이의 거리나 유사도를 이용해 가까운 항목을 찾는 검색 방식. Attention 입력의 여러 위치 가운데 현재 예측에 더 관련된 정보에 가중치를 두어 표현을 결합하는 신경망 메커니즘.
이 문서의 내용은 사용자 편집을 통해 계속 개선될 수 있습니다.
미작성 문서