LoRA

LoRA(Low-Rank Adaptation)는 큰 사전학습 모델 전체를 다시 학습하는 비용을 줄이기 위한 파라미터 효율적 적응 기법이다. 원 논문은 기존 모델 가중치를 고정하고 Transformer 층에 학습 가능한 저랭크 행렬을 추가하는 방식을 제안했다.^[1]

LLM의 모든 파라미터를 과제마다 별도로 미세조정하고 저장하면 메모리와 저장 비용이 커진다. LoRA는 실제로 업데이트해야 하는 파라미터 수를 크게 줄여 이런 부담을 낮추는 것을 목표로 한다.^[1]

LoRA는 Fine-tuning을 없애는 개념이라기보다, 미세조정을 더 적은 학습 파라미터로 수행하는 방법 중 하나다.