개요
Fine-tuning(미세조정)은 이미 사전학습된 모델을 특정 과제나 도메인에 맞게 추가로 학습하는 전이학습 방식이다. 처음부터 모든 표현을 새로 학습하는 대신 기존 모델이 가진 표현을 출발점으로 활용한다.
언어 모델의 사례
ULMFiT 연구는 사전학습 언어 모델을 텍스트 분류 과제에 적응시키는 일반적 미세조정 방법을 제시하고, 제한된 라벨 데이터에서도 전이학습의 효과를 평가했다.[1] BERT 역시 사전학습 뒤 여러 자연어 처리 과제에 미세조정하는 흐름을 대표한다.
효율화
모델이 커질수록 전체 파라미터를 매번 업데이트하는 비용도 커질 수 있다. LoRA 같은 파라미터 효율적 기법은 미세조정 시 실제로 학습하는 파라미터 수를 줄이는 방향을 제시한다.
무엇을 바꾸는가
미세조정은 모델의 파라미터를 추가 데이터에 맞춰 실제로 업데이트한다는 점에서, 프롬프트만 바꾸거나 외부 문서를 검색해 입력에 붙이는 방식과 구분된다. 전체 파라미터를 업데이트할 수도 있고, LoRA처럼 일부 저랭크 파라미터만 학습할 수도 있다. 어느 방식을 쓰더라도 학습 데이터의 구성과 목표 함수가 모델 행동에 직접 영향을 준다.
언제 유용한가
반복되는 출력 형식, 특정 도메인의 표현, 과제별 분류 기준처럼 프롬프트만으로 일관되게 맞추기 어려운 패턴을 모델에 학습시키려는 경우에 미세조정을 검토할 수 있다. 반면 최신 사실을 자주 갱신해야 하는 문제라면 모델 파라미터에 지식을 다시 넣는 것보다 외부 지식을 조회하는 RAG 같은 구조가 더 적합할 수 있다.
데이터와 검증
미세조정 데이터가 작거나 편향돼 있으면 특정 패턴에 과도하게 맞거나 기존 능력이 약해질 수 있다. 학습 전에는 데이터의 중복·오염·라벨 품질을 확인하고, 학습 뒤에는 미세조정 목표뿐 아니라 기존 핵심 능력과 안전성도 함께 재평가하는 것이 중요하다.
사례: 반복되는 문의 분류 기준 맞추기
다음은 ORBiS Tree가 만든 가상 사례다. 온라인 업체가 문의를 '배송', '반품', '제품 사용'으로 분류한다고 하자. 먼저 같은 기준의 예시를 프롬프트에 넣고, 별도 문의 묶음에서 분류가 얼마나 일관되는지 확인할 수 있다. 예시를 다듬어도 반복적인 분류 오류가 남고 충분한 학습 자료를 확보했다면 미세조정을 검토할 수 있다.
반면 '이번 주 배송 마감 시간'처럼 자주 바뀌는 사실은 조회할 자료의 갱신이 중요하다. 미세조정된 모델이 최신 마감 시간을 자동으로 아는 것은 아니다. 이 경우에는 RAG나 구조화된 데이터 조회의 역할을 함께 검토해야 한다.[3]
선택 전에 답할 질문
- 바꾸려는 것은 답변 형식·분류 규칙·표현 습관인가, 계속 갱신되는 사실인가?
- 프롬프트와 예시만 바꿔도 목표 수준에 도달하는가?
- 학습용 예시와 평가용 예시를 서로 분리할 수 있는가?
- 학습 비용뿐 아니라 데이터 정리·재평가·모델 버전 관리 비용을 감당할 수 있는가?
LoRA를 사용하면 달라지는 것
LoRA는 기존 큰 가중치를 고정하고 추가 저랭크 파라미터를 학습하는 방식으로 미세조정 부담을 줄이는 접근이다.[2] 그러나 잘못된 라벨이 정답이 되거나 평가가 불필요해지는 것은 아니다. 어댑터의 크기가 작더라도 어떤 베이스 모델에 적용했는지, 어떤 예시로 학습했는지와 배포 후 성능을 관리해야 한다.
학습 자료를 나누는 가상 예
한 고객의 비슷한 문의를 학습과 평가 양쪽에 넣으면 실제보다 잘 맞는 것처럼 보일 수 있다. 상품·날짜·작성자별로 거의 같은 예시를 살펴보고, 평가 묶음에 사실상 정답이 노출되지 않았는지 확인하는 편이 좋다. 정확한 분할 기준은 데이터 구조에 따라 달라지며, 일정 비율을 기계적으로 나누는 것만으로 누출이 막히지는 않는다.
좋아졌다는 판단을 내리는 조건
새 모델의 목표 과제와 기존 기본 능력을 함께 비교한다. 문의 분류가 좋아졌더라도 질문과 상관없는 응답이나 근거 없는 설명이 늘었다면 비용이 생긴다. 배포 기록에는 베이스 모델, 데이터 버전, 학습 설정, 평가 질문과 실패 유형을 남긴다. 문제가 생기면 이전 모델로 되돌릴 수 있게 하고, 바뀐 정책이나 사실은 학습 데이터와 조회 자료 중 어디를 갱신해야 하는지 구분한다.
예제: 전체 정확도가 올라가도 반품 분류가 나빠질 수 있다
가상의 별도 평가 자료에는 배송 문의 90개와 반품 문의 10개가 있다. 모델 A는 배송 80개·반품 6개를 맞혀 전체 86%다. 미세조정한 B는 배송 88개·반품 2개를 맞혀 전체 90%다. 전체 점수는 올랐지만 실제 반품 문의를 찾은 비율은 60%에서 20%로 떨어졌다. 이 비율은 반품 재현율이며, '반품으로 예측한 것 중 정답 비율'인 정밀도와 다르다. 숫자는 제품 성능이 아닌 설명용이다.
라벨별 정답·오답과 업무상 손실을 보고 배포 조건을 정한다. 드문 분류가 중요한 과제에서는 전체 정확도만으로 개선을 선언하지 않는다. 평가 자료 구성, 모델 평가 보고와 사용 조건별 평가를 함께 남긴다.
프롬프트 기준선을 고정한 뒤 학습 비교
ULMFiT 원논문 ↗은 사전학습 언어 모델의 과제 적응을 설명하고, LoRA 원논문 ↗은 큰 기본 가중치를 고정한 파라미터 효율적 적응을 제시한다.[1][2] 어떤 방식이든 비교하려는 변화와 평가 조건을 구분한다.
먼저 같은 지시·예시·입력 자료로 프롬프트 기준선을 저장한다. 그다음 같은 평가 묶음으로 학습 전후를 비교하고 형식, 라벨별 오류, 근거 없는 답, 시간과 총비용을 기록한다. 개발 중 계속 확인한 문항만으로 최종 평가를 끝내지 않는다. 평가 누출과 학습 자료 버전을 확인한다.
배포 기록에는 기본 모델과 어댑터를 함께 남기기
어댑터를 사용했다면 기본 모델 ID·버전, 어댑터 버전, 토크나이저, 지시 양식과 적용 순서를 한 실행 구성으로 기록한다. 기본 모델을 바꾼 뒤 이전 어댑터가 같은 품질로 작동한다고 가정하지 않는다. 학습 설정과 평가 결과, 되돌릴 이전 실행 구성도 함께 보존한다.
오류가 늘었을 때 바뀐 라벨·자료·모델·조회 정책 중 무엇이 원인인지 비교한다. 최신 배송 마감 같은 사실의 변경은 조회 자료를, 반복 분류 행동의 변경은 학습 예시를 검토한다. 미세조정은 모든 자료 갱신 문제의 단일 해결책이 아니다.
연구 근거: QLoRA의 저장 정밀도와 계산 정밀도
Dettmers 등의 QLoRA 원문 §3은 고정된 기본 모델을 주로 4비트로 저장하고, 계산에 사용할 때 BFloat16으로 역양자화해 LoRA 어댑터를 학습하는 방식을 설명한다.[4] 모든 활성값·그래디언트·행렬 연산이 4비트라는 뜻이 아니다. 이는 양자화와 어댑터를 결합한 구체적 방법이며 모든 미세조정의 정의도 아니다.