Retrieval-Augmented Generation (RAG)

Retrieval-Augmented Generation(RAG)은 생성 모델이 답을 만들기 전에 외부 지식 저장소에서 관련 정보를 검색하고, 검색 결과를 생성 과정에 결합하는 접근법이다. 2020년 원 논문은 사전학습된 생성 모델의 파라미터 메모리와 외부의 비파라미터 메모리를 결합하는 구조를 제안했다.^[1]

원 논문의 구현에서는 Wikipedia 문서를 대상으로 한 dense vector index와 neural retriever를 사용해 관련 문서를 검색했다.^[1] 이 구조는 모델 자체의 지식만 사용하는 것과 달리 외부 문서에 접근할 수 있고, 검색된 근거를 함께 관리할 수 있다는 점이 핵심이다.

실제 RAG 시스템에서는 Embedding을 이용한 의미 기반 검색이 자주 사용된다. 검색 결과는 LLM의 입력 문맥에 포함되어 답변 생성에 활용될 수 있다.