ORBiS TREE DOCUMENT
연구·평가 →Hallucination (AI)
생성 모델이 입력이나 확인 가능한 근거와 일치하지 않는 내용을 그럴듯하게 만들어 내는 오류 현상을 다루는 연구 주제.
개요
AI 문맥에서 hallucination(환각)은 자연어 생성 시스템이 입력·자료·현실의 확인 가능한 근거와 맞지 않는 내용을 생성하는 문제를 설명할 때 쓰이는 연구 용어다. 자연어 생성 연구에서는 요약, 대화, 질의응답 등 여러 과제에서 이런 오류를 측정하고 줄이는 방법이 연구돼 왔다.[1]
왜 중요한가
문장이 유창하다는 것과 사실이 맞다는 것은 별개의 문제다. 특히 LLM은 확률적으로 다음 토큰을 생성하므로, 그럴듯한 표현 자체를 사실 검증으로 간주하면 안 된다.
완화 접근
외부 근거를 검색해 답변에 결합하는 RAG, 출처 제시, 별도의 검증 단계 같은 설계가 활용될 수 있다. 그러나 특정 기법 하나만으로 모든 환각이 사라진다고 가정해서는 안 된다.
SOURCES
출처
KNOWLEDGE LINKS