Context Window

Context Window는 언어 모델이 한 번의 추론에서 조건으로 사용할 수 있도록 구성하는 토큰 문맥 범위를 뜻한다. 대화 기록, 문서, 지시문, 검색된 자료와 생성 중인 토큰 등이 이 범위 안의 입력으로 들어갈 수 있다.

더 긴 문맥은 더 많은 정보를 한 번에 제공할 수 있지만 계산량과 메모리 사용도 증가할 수 있다. Llama 2 연구는 이전 세대보다 학습 컨텍스트 길이를 늘려 더 긴 대화 기록과 문서를 처리하는 방향을 평가했다.^[1] 긴 입력을 안정적으로 활용하는 능력은 단순히 허용 토큰 수만으로 결정되지 않는다.

문맥은 Tokenization을 거친 토큰 단위로 구성되며, Attention 계산과 KV Cache 메모리 사용에 영향을 준다. 따라서 Context Window의 최대값과 실제로 유용하게 활용할 수 있는 길이는 구분해서 해석하는 것이 좋다.

모델이 기술적으로 긴 입력을 받을 수 있다는 사실은 문맥 안의 모든 정보를 같은 수준으로 활용한다는 뜻이 아니다. 중요한 정보가 어디에 위치하는지, 입력이 얼마나 복잡한지, 모델이 어떤 길이 분포로 학습됐는지에 따라 실제 성능이 달라질 수 있다. 그래서 컨텍스트 길이를 비교할 때는 최대 토큰 수와 장문 과제의 실제 평가 결과를 구분해야 한다.

사용자 메시지만 문맥을 쓰는 것은 아니다. 시스템 지시, 대화 기록, 도구 결과, 검색된 문서, 그리고 생성 중인 출력도 전체 토큰 예산에 영향을 줄 수 있다. 긴 대화를 계속 유지하면 오래된 정보를 잘라내거나 요약하는 관리 전략이 필요해질 수 있다.

긴 입력은 추론 시 초기 처리량과 KV Cache 메모리 요구량을 키울 수 있다. 따라서 무조건 최대 문맥을 채우는 것보다 실제 과제에 필요한 정보만 정확하게 선택해 넣는 것이 비용과 응답성 측면에서 유리할 수 있다.

다음은 특정 모델의 한도가 아닌 가상 예산이다. 문맥 8,000토큰 안에서 지시 500, 대화 1,500, 검색 자료 4,000, 도구 결과 1,000과 출력 여유 1,000을 배정하면 합계 8,000이다. 검색 자료 2,000을 추가하면 10,000이 되어 기존 배정 안에 들어가지 않는다. 실제 제공사의 입력·출력·추론 토큰 계산 조건은 모델별로 확인해야 하며 이 단순 합계가 모든 제품의 산식은 아니다.

초과할 때는 지시와 최신 결정, 정답 근거·예외 조건을 우선 보존하고 중복·무관한 자료부터 줄인다. 글자 수로 토큰 수를 단정하지 않고 실제 토큰화를 확인한다. 장기 저장에 정보가 있어도 이번 요청에 전달되지 않으면 그 호출의 문맥에 포함된 것이 아니다.

가상의 원문이 '출고 후 취소 불가. 파손은 별도 절차. 10월 1일 이후 주문에 적용'이라면 '주문 취소 규정'이라는 요약에는 핵심 조건이 사라진다. 적용 날짜·금지 조건·예외와 원문 위치를 보존한 요약을 만들고, 답에 필요한 세부 내용은 다시 원문에서 확인한다.

근거 재조회와 문서 버전을 연결한다. 요약을 다시 요약할수록 조건이 남는지 평가하고, '확인 불가'를 확정된 결정으로 바꾸지 않는다. 입력을 줄이는 작업도 정답 기준을 유지해야 한다.

Llama 2 연구 ↗는 모델과 학습·평가 조건의 연구 사례이며, Lost in the Middle ↗은 평가한 과제에서 관련 정보의 위치 영향을 조사했다.^[1][2] 문맥 최대 길이만으로 최신 모델의 업무 성능을 추정하지 않는다.

같은 정답 근거를 앞·중간·뒤에 배치하고, 방해 문서 수와 전체 길이를 바꿔 비교한다. 정답률뿐 아니라 근거 인용·예외 조건·확인 불가 처리도 기록한다. 첫 토큰 시간과 메모리 점유를 함께 측정하면 자료 추가의 품질 이득과 운영 비용을 같이 판단할 수 있다.

RULER 원문 ↗ §3·부록 B는 긴 문맥에서의 검색 외에도 다단계 변수 추적, 집계와 질의응답을 포함하며 13개 과제 구성을 제시한다.^[3] 문자열 하나를 찾는 성공만으로 여러 근거를 결합하는 능력까지 확인했다고 보지 않는다. 합성 과제의 구성과 평가 모델·설정을 현재 서비스의 모든 장문 업무로 확대하지 않는다. 근거 검색과 다단계 작업의 평가 목적도 구분한다.

다음은 실제 연구 결과가 아닌 가상 반복 평가다. 같은 10개 질문의 근거를 앞·중간·뒤에 각각 놓았을 때 정답이 9·5·8개라면 위치별 정답률은 90%·50%·80%다. 30회 실행 평균은 22/30≈73.3%, 최저 위치 점수는 50%다. 최고점 90%만 장문 활용 성능으로 보고하지 않는다. 같은 질문을 반복했으므로 독립적인 질문 30개를 평가한 것과도 다르다. Lost in the Middle ↗의 위치 효과 연구와 연결하되 이 숫자는 해당 논문의 측정값이 아니다.^[2]

다음은 ORBiS Tree의 진단 설계다. AI 도구의 사용 조건을 묻는 질문에서 원문 전체, 같은 조건을 보존한 요약, 실제 검색·요약 결과를 각각 전달한다. 원문에서는 맞고 요약에서 틀리면 누락된 부정어·예외·유효 날짜를 먼저 확인한다. 실제 검색 조건에서만 틀리면 근거 선택·순서·잘림을 조사한다. 모델·질문·생성 설정을 함께 바꾸지 않고 실제 전달한 입력과 토큰 수, 원문 버전을 남긴다. 자료를 저장했다는 사실과 이번 호출에 전달했다는 사실은 별개다.