개요
AI 문맥에서 hallucination(환각)은 자연어 생성 시스템이 입력·자료·현실의 확인 가능한 근거와 맞지 않는 내용을 생성하는 문제를 설명할 때 쓰이는 연구 용어다. 자연어 생성 연구에서는 요약, 대화, 질의응답 등 여러 과제에서 이런 오류를 측정하고 줄이는 방법이 연구돼 왔다.[1]
왜 중요한가
문장이 유창하다는 것과 사실이 맞다는 것은 별개의 문제다. 특히 LLM은 확률적으로 다음 토큰을 생성하므로, 그럴듯한 표현 자체를 사실 검증으로 간주하면 안 된다.
완화 접근
외부 근거를 검색해 답변에 결합하는 RAG, 출처 제시, 별도의 검증 단계 같은 설계가 활용될 수 있다. 그러나 특정 기법 하나만으로 모든 환각이 사라진다고 가정해서는 안 된다.
오류를 나눠서 보는 이유
환각은 하나의 단일 오류 유형으로만 보기 어렵다. 주어진 원문과 맞지 않는 요약, 존재하지 않는 출처를 만들어 내는 답변, 실제 세계의 사실과 충돌하는 주장처럼 실패 형태가 다르다.[1] 따라서 '환각률' 하나만 비교하기보다 어떤 기준과 데이터로 오류를 정의했는지 먼저 확인해야 한다.
근거가 있는 답변과 정확한 답변
RAG처럼 외부 문서를 제공하면 모델이 참고할 근거를 늘릴 수 있지만, 검색 결과를 잘못 해석하거나 근거에 없는 내용을 덧붙일 가능성까지 자동으로 사라지는 것은 아니다. 출처 링크가 있다는 사실과 답변의 각 주장이 실제 출처에 의해 뒷받침된다는 사실도 구분해야 한다.
운영에서 줄이는 방법
중요한 사실을 다루는 시스템에서는 검색·출처 표시 외에도 답변 범위를 제한하고, 확인할 수 없는 경우 모른다고 응답하게 하고, 구조화된 검증 단계나 사람의 검토를 두는 방식을 조합할 수 있다. 모델 자체 평가와 함께 실제 사용 환경에서 어떤 오류가 발생했는지 기록하고 분류하는 과정도 필요하다.
사례: 출처가 있지만 주장은 틀린 답변
다음은 ORBiS Tree가 만든 가상 사례다. 원문에 '소규모 시험을 준비 중'이라고 적혀 있는데 답변이 '대규모 상용 서비스가 시작됐다'고 말하고 같은 원문 링크를 달았다고 하자. 링크가 실제로 존재해도 그 주장은 원문에 의해 뒷받침되지 않는다. 출처의 존재와 출처가 주장을 지지하는지는 따로 확인해야 한다.
오류의 원인을 나눠 보기
- 근거 검색 실패: 질문에 맞는 자료가 저장소에 없거나 다른 문서를 찾았다.
- 근거 해석 실패: 찾은 자료의 조건·날짜·대상을 잘못 읽었다.
- 근거 밖 생성: 원문에 없는 수치, 예외, 출처나 단정을 덧붙였다.
- 자료 자체의 문제: 원문이 오래됐거나 서로 충돌한다. 이 경우 모델을 바꾸는 것만으로 해결되지 않을 수 있다.
이 분류는 ORBiS Tree의 문제 점검용 구분이며 모든 연구가 동일하게 사용하는 표준 분류는 아니다. RAG 연구는 외부 자료를 생성 과정에 결합하는 접근을 제시하지만, 실제 시스템의 모든 오답을 없애는 보장은 아니다.[2]
검증을 진행하는 순서
- 답변을 '하나의 확인 가능한 주장' 단위로 나눈다. 출시 여부·날짜·성능 수치를 한꺼번에 맞다고 판단하지 않는다.
- 각 주장에 대응하는 원문 문장을 찾는다.
- 원문의 시점, 대상 모델, 실험 조건이 답변과 같은지 확인한다.
- 원문에 없는 부분은 추론이라고 밝히거나 확인 불가로 남긴다.
- 오류가 반복되면 질문·검색 근거·출력을 기록하고 같은 유형으로 묶어 개선한다.
자료를 많이 넣으면 해결되는가
자료가 늘어나면 관련 근거를 놓치거나 서로 다른 내용을 혼동할 수도 있다. 장문 연구에서는 중요한 정보의 위치가 결과에 영향을 주는 경우가 관찰됐다.[3] 필요 없는 자료를 계속 붙이는 것보다 질문에 필요한 근거를 선별하고 해당 근거의 문맥을 유지하는 방법을 검토할 수 있다.
서비스에 적용하는 방법
가상의 제품 상담이라면 자료에 없는 기능을 확정하지 않고 담당자 확인으로 넘기도록 설계할 수 있다. 모든 답변을 사람이 처음부터 다시 쓰는 방식과, 중요한 주장만 확인하는 방식의 비용도 비교해 볼 수 있다. 목표는 오류가 없다고 선언하는 것이 아니라 어떤 오류가 남는지 확인하고 영향이 큰 오류를 줄이는 것이다.
사례: 인용 개수 대신 주장 지지율 확인
가상의 AI 도구 소개 답변에 '10월 1일 출시', '무료 사용', '한국어 지원 완료'라는 세 주장이 있고 원문 링크가 붙어 있다고 하자. 실제 원문은 출시일만 확인해 주고, 가격은 언급하지 않으며, 한국어 지원은 향후 계획이라고 적혀 있다. 이 경우 한 주장은 지지됨, 하나는 확인 불가, 하나는 원문과 충돌함으로 나누어 본다.
이 설명 예제의 주장 지지율은 1 / 3 = 약 33.3%다. 모든 주장을 같은 무게로 센 단순 비율이며 보편적 환각률 표준이나 제품 측정값이 아니다. 확인 불가는 곧 거짓이라는 뜻도 아니다. 원문의 버전·시점과 문장 위치를 남기고, 사실성·자료 충실성·답변 완전성을 별도 기준으로 평가한다. 링크 세 개를 붙였다고 세 주장이 모두 검증된 것은 아니다.
모르는 내용과 서로 충돌하는 자료를 구분하기
가격 정보가 없다면 '제공된 원문에서 가격은 확인되지 않는다'고 답하고 임의로 무료라고 채우지 않는다. 날짜가 다른 두 발표가 서로 다르면 최신이라는 이유만으로 무조건 하나를 선택하기보다 대상 제품·지역·적용 시점이 같은지 확인한다. 추론이 필요한 부분은 어떤 근거에서 그렇게 판단했는지와 남은 불확실성을 드러낸다.
RAG에는 자료 없음, 잘못된 검색, 자료 간 충돌, 찾은 근거의 오독이 서로 다른 실패다. 근거를 정확히 제공했을 때도 같은 주장을 만들어 내는지 비교하면 생성 단계의 문제를 좁힐 수 있다. 문맥 위치와 길이를 바꾼 평가에서는 근거의 부정어·예외·날짜를 그대로 유지한다.
오류 기록을 개선 실험으로 연결하기
문제를 재현하려면 질문, 사용한 모델·지시 버전, 검색 문서 ID·버전, 실제 근거 문장, 출력의 문제 주장과 판정 사유를 함께 남긴다. 자료 수정, 검색 설정 변경, 생성 지시 변경을 분리해서 비교한다. 외부 도구 결과나 검색 문서가 다음 행동을 지시하는 문구를 포함해도 근거 데이터와 실행 권한을 혼동하지 않는다.
평가 질문을 정상 사례와 정보 없음·충돌·부정 조건으로 나누고, 확인 가능한 답까지 모두 거절하지 않는지도 확인한다. 오류를 줄이려고 답변을 전부 '모름'으로 바꾸면 답변 유용성이 사라질 수 있다. 실제 영향이 다른 주장들을 별도로 살피고 사람의 검토가 필요한 기준을 업무에 맞게 정한다.
원문 연구에서 읽을 수 있는 범위
환각 연구 개관 ↗은 여러 자연어 생성 과제의 측정·완화 접근과 과제별 차이를 정리한다.[1] TruthfulQA ↗는 인간이 가진 잘못된 믿음을 모델이 따라 답하는지를 평가하기 위해 구성된 벤치마크다.[4] 이 과제의 점수와 원문 요약의 충실성은 같은 지표가 아니다.
벤치마크 이름이나 높은 점수만으로 실제 서비스의 모든 답변이 사실이라고 결론내리지 않는다. 평가 데이터 오염과 자료·질문 분포, 판정 기준을 확인하고 현재 업무에서의 남은 오류를 별도로 측정한다.
연구 근거: FActScore가 측정하는 것과 빠지는 것
Min 등의 FActScore(EMNLP 2023) §3.1은 생성문을 원자적 사실로 나누고 지정한 지식원에 의해 지지되는 비율을 계산한다. 응답한 경우의 사실 정밀도를 다루며 사실 재현율은 포함하지 않는다. 주요 실험은 인물 전기와 Wikipedia에 관한 것이고, 한계 절은 논쟁적 주장·충돌하는 지식원에 대한 제약을 밝힌다.[5] 모든 환각의 보편적 비율이나 현재 서비스 전체의 사실성으로 읽으면 안 된다.