Reinforcement Learning from Human Feedback (RLHF)

Reinforcement Learning from Human Feedback(RLHF)는 사람이 제공한 선호나 평가를 모델 학습의 보상 신호로 활용하는 접근법이다. 인간이 두 행동이나 출력 중 어느 쪽을 선호하는지 비교한 데이터를 이용해 보상 모델을 학습하고, 그 신호를 강화학습에 활용하는 연구 흐름이 있다.^[1]

InstructGPT 연구는 사람이 작성한 시범 데이터로 지도 미세조정을 한 뒤, 모델 출력에 대한 사람의 순위를 수집해 보상 모델과 강화학습을 사용하는 절차를 평가했다.^[2]

RLHF는 하나의 고정된 알고리즘 이름이라기보다 인간 피드백을 강화학습 과정에 연결하는 여러 설계를 포괄하는 표현으로 쓰인다. 사람의 선호 데이터가 곧 객관적 사실을 의미하는 것은 아니다.

언어 모델의 RLHF 파이프라인은 보통 사람의 시범 데이터로 기본 행동을 맞추는 단계, 여러 후보 출력에 대한 선호 비교를 수집하는 단계, 이 비교를 예측하는 보상 모델을 만드는 단계, 그리고 보상 신호를 이용해 정책을 추가로 조정하는 단계로 설명할 수 있다.^[2] 실제 구현은 연구마다 다를 수 있으므로 RLHF라는 이름만으로 같은 절차를 의미한다고 가정하면 안 된다.

선호 데이터는 평가자가 어떤 응답을 더 낫다고 판단했는지를 담지만, 모든 사실의 정답이나 모든 사용자의 가치 판단을 직접 나타내는 것은 아니다. 평가 지침, 평가자 구성, 질문 분포가 달라지면 학습되는 선호 신호도 달라질 수 있다.

보상 모델 점수가 높아졌다는 사실만으로 실제 사용자에게 더 정확하고 안전한 모델이 됐다고 단정할 수 없다. 사실성, 유해성, 지시 따르기, 과도한 동조 같은 서로 다른 행동을 별도로 평가하고, 학습에 사용하지 않은 데이터에서 일반화되는지도 확인해야 한다.

InstructGPT 연구 ↗는 사람이 작성한 시범으로 지도 학습을 하고, 모델 출력의 선호 순위를 모아 보상 모델과 PPO 기반 정책 학습에 사용하는 흐름을 평가했다.^[2] 시범 답변은 원하는 행동의 예, 선호 비교는 어느 후보를 더 낫게 봤는지, 보상 모델은 그 평가를 추정하는 학습된 신호다. 이 셋을 같은 '정답 데이터'로 합치면 무엇을 개선했는지 알기 어렵다.

가상의 AI 문서 답변 작업에서는 질문·후보 답변·평가 지침·비교 결과·모델 버전을 연결해 남긴다. 시범 학습과 후속 선호 학습의 자료를 구분하고 평가에 사용할 질문은 별도로 유지한다. 이 연구의 절차가 모든 정렬 구현이나 현재 서비스의 학습 방식이라는 뜻은 아니다.

다음은 실제 연구 결과가 아닌 가상 비교다. 60개 질문에서 평가자가 A를 B보다 선호한 것이 42개면 A의 관찰 선호 비율은 42 / 60 = 70%다. 같은 60개에서 별도 근거 판정으로 A의 답이 정확한 것이 36개라면 사실 정확도는 36 / 60 = 60%다. 선호율을 정답률로 바꿔 적거나 두 비율을 같은 성능 개선이라고 합치지 않는다.

답이 길거나 친절한 문체라는 이유가 사실 확인과 섞이지 않도록 기준을 나누고, 질문 순서·후보 배치·평가자 조건을 기록한다. 비김과 평가 불가 항목의 포함 규칙도 명시한다. 보상 모델의 원시 점수 역시 검증된 정답 확률이 아니다. 근거 없는 주장과 사용자의 오해에 동조하는 답을 따로 점검한다.

DPO 원 연구 ↗는 선호 쌍을 이용하는 분류 형태의 목적함수로 정책을 직접 학습하는 접근을 제안했다.^[3] 전통적 보상 모델 적합과 PPO 단계가 있는 흐름과 달리, 원 DPO 방식은 별도의 명시적 보상 모델 학습과 PPO 실행을 요구하지 않는다. 그래도 선호 자료, 기준 모델·학습 설정, 계산 자원과 검증은 필요하다.

따라서 '강화학습 단계를 줄였다'를 '학습 없이 선호가 반영된다'나 '모든 문제에서 비용·품질이 더 낫다'로 읽지 않는다. 실제 절차의 손실 함수·기준 모델·자료 출처를 비교한다. 서비스에서 누른 좋아요가 즉시 운영 모델의 가중치를 바꾼다고도 가정하지 않는다. 수집·검토·배치 학습·평가·배포는 서로 다른 단계다.

학습과 설정 선택에 쓴 질문뿐 아니라 새로운 질문, 한국어·영어, 부정·예외, 사실 근거, 허용되지 않은 요청을 나눠 평가한다. 같은 질문 계열의 문구 변형이 양쪽 자료에 걸쳐 있으면 독립 평가가 약해질 수 있다. 편한 답을 만들면서 사실성이나 정상 요청의 완료를 해치지 않는지도 함께 본다.

모델 카드에 시범·선호 자료의 범위, 평가 지침, 비교 설정과 남은 오류를 연결한다. 안전성 평가와 경계 시험은 선호 점수 하나로 대체하지 않는다. 어떤 평가에서 무엇이 좋아졌고 어떤 언어·업무에서는 확인하지 못했는지를 기록해야 개선의 범위를 과장하지 않을 수 있다.