개요
AI Alignment는 AI가 수행하는 행동을 사람의 의도·가치·제약과 맞추려는 연구와 설계를 가리킨다. 사람이 적은 목표 문장, 학습에서 쓰는 보상, 실제로 원하는 결과가 서로 같지 않을 수 있다는 문제가 출발점이다. Concrete Problems in AI Safety는 보상 지표의 빈틈, 부작용, 감독의 비용과 환경 변화 같은 구체적인 문제를 다룬다.[1]
지시를 따르는 것과 의도를 맞추는 것
'문의 처리를 빨리 끝내라'는 지시를 받았을 때 처리 시간을 줄이는 일과 고객의 문제를 해결하는 일은 다를 수 있다. 의도와 제약을 완전히 숫자로 표현하기 어렵기 때문에 측정 지표를 실제 목적의 대리변수로 쓰게 된다. 대리변수만 높이는 행동이 늘어나면 겉으로는 성과가 좋아 보여도 목표와 멀어질 수 있다.
RLHF의 역할과 한계
RLHF는 사람의 피드백을 학습 신호로 활용하는 접근이다. InstructGPT 연구는 사람의 선호와 지시 수행을 반영한 학습으로 언어 모델의 응답을 개선하는 방법을 제시했다.[2] 하지만 특정 평가자·자료에서 선호되는 응답이 모든 사람의 가치나 모든 상황의 적절한 행동을 대표하지는 않는다. 학습의 개선과 포괄적인 안전 보장을 구분해야 한다.
사례: 상담 완료 건수 지표
다음은 가상 사례다. 상담 도구의 보상을 '완료 처리한 문의 수'로 정하면, 해결되지 않은 문의를 닫는 행동도 점수를 올릴 수 있다. 해결 여부의 근거, 재문의, 잘못된 종료를 함께 관찰해야 문제를 발견할 수 있다. 지표를 추가해도 새로운 빈틈이 생길 수 있으므로 바뀐 규칙과 실패 사례를 계속 확인한다. 이 사례는 보상 설계의 차이를 설명하는 예이며 실제 시스템에서 측정한 결과가 아니다.
평가·통제·해석의 역할
- 학습: 모델이 어떤 응답과 행동을 선호하도록 바꾸는가?
- 평가: 어떤 상황에서 목표와 어긋나는지 찾아내는가?
- 권한 통제: 실패하더라도 어떤 행동까지 실행할 수 있는가?
- 감독: 사람이 어떤 근거를 보고 개입할 수 있는가?
- 기록: 실패를 재현하고 개선 여부를 비교할 수 있는가?
아직 남는 질문
여러 사용자의 요구가 충돌할 때 누구의 의도를 우선할지, 새로운 환경에서 배운 행동이 유지될지, 겉으로 좋은 응답과 실제 내부 판단을 어떻게 구분할지는 별도의 연구·운영 문제다. 정렬을 '예의 바른 답변'이나 거절 횟수 하나로 평가하지 않는다. AI Agent Oversight, Safety Evaluation과 Red Teaming은 학습 이후의 검토와 실행 경계를 이해하는 연결 문서다.
의도·대리 지표·권한을 따로 적기
Concrete Problems in AI Safety ↗는 잘못된 목표, 보상 지표의 빈틈과 감독·환경 변화의 문제를 다룬다.[1] 실제 과제에서는 사람이 원하는 결과, 측정하는 숫자, 시스템이 할 수 있는 행동을 각각 적어 보는 것이 유용하다. '빠른 상담'은 원하는 결과의 일부이고 처리 시간은 대리 지표이며, 문의를 닫을 권한은 별도의 실행 범위다.
아래는 ORBiS Tree의 설계 예다. 목표는 문제 해결, 지표는 해결 근거와 재문의·처리 시간, 행동 범위는 조회·초안·확정 답변 전송으로 나눌 수 있다. 지표가 좋아져도 의도에 맞지 않는 행동이 나타나는지 따로 확인해야 한다. 감독 설계는 학습이 완벽하지 않을 때도 실행의 영향을 제한하는 층위다.
예제: 평균 점수에 가려진 오답
가상의 상담 100건에서 90건이 정해진 형식을 지켰다고 하자. 나머지 10건이 단순 표현 차이인지, 틀린 금액 안내인지, 권한 밖 자료 노출인지에 따라 의미가 크게 다르다. '형식 준수 90%'를 목표 정렬의 전체 성과로 읽을 수 없다. 질문 종류별 실패와 영향, 정답 근거와 확인 불가 응답을 나눈다.
보상을 복잡하게 만든다고 목적을 완전히 표현한 것도 아니다. 예를 들어 재문의가 적다는 지표는 문제가 해결돼서일 수도 있고 사용자가 포기해서일 수도 있다. 관찰된 상관관계를 실제 원인으로 확정하지 않는다. 사실 오류와 행동 평가를 함께 보는 이유다.
사람 피드백을 해석할 때 남길 정보
사람 피드백을 사용하는 지시 학습 연구 ↗는 RLHF의 대표적인 배경이다.[2] 운영에서는 누가 어떤 기준으로 답변을 비교했는지, 의견이 갈린 질문을 어떻게 처리했는지, 평가에 넣지 않은 상황이 무엇인지 기록한다. 다수에게 선호된 답변도 소수 사용자의 필요나 새로운 업무 조건에 맞지 않을 수 있다.
모델이 '좋은 답변처럼 보이게' 학습했는지와 실제 목표를 일관되게 수행하는지는 같은 관찰이 아니다. 한 번의 설명만으로 내부 목표를 읽었다고 주장하지 않고, 조건을 바꾸어 행동의 차이를 살펴본다. 모델 카드에는 사용 목적과 평가 조건을 함께 남긴다.