개념·기술
본문에서 언급
Latency and Throughput
AI 서비스에서 한 요청의 응답 시간과 일정 시간 동안 처리할 수 있는 작업량을 구분해 보는 성능 지표.
↳ Latency↳ Throughput↳ 지연 시간
#Benchmark#Inference#Latency#Throughput
2026.10.10 23:08
개념·기술
본문에서 언급
Inference
학습된 AI 모델에 새로운 입력을 넣어 예측이나 생성 결과를 계산하는 실행 단계.
↳ Model Inference↳ 추론
#Deployment#Inference#LLM#Serving
2026.10.10 20:49