GPU

GPU(Graphics Processing Unit)는 많은 연산을 병렬로 수행할 수 있도록 설계된 프로세서다. 그래픽 처리에서 발전했지만 행렬·벡터 계산처럼 병렬성이 높은 작업에 적합해 현대 딥러닝 학습과 Inference에서 중요한 가속 하드웨어로 사용된다.

NVIDIA의 CUDA는 GPU의 병렬 계산 자원을 일반 목적 계산에 사용할 수 있도록 제공하는 병렬 컴퓨팅 플랫폼과 프로그래밍 모델이다.^[1] CUDA 프로그래밍 가이드는 thread group, 메모리 계층과 동기화 같은 병렬 실행 개념을 설명한다.^[1]

LLM 실행 성능은 GPU라는 이름 하나로 결정되지 않는다. 사용 가능한 메모리, 메모리 대역폭, 계산 정밀도, 모델 구조, 배치 크기와 소프트웨어 스택이 함께 영향을 준다. 따라서 하드웨어 비교에서는 모델과 측정 조건을 함께 확인해야 한다.