Benchmark Data Contamination

Benchmark Data Contamination은 모델을 평가하려고 남겨 둔 벤치마크 데이터의 일부가 사전학습이나 후속 학습 데이터에 포함되는 상황을 뜻한다. 이런 중복이 존재하면 모델이 새로운 문제를 일반화해서 푼 것인지, 학습 중 본 표현을 재현한 것인지 구분하기 어려워져 평가 결과의 해석이 흔들릴 수 있다.^[1]

MMLU처럼 널리 공개된 평가 세트는 연구와 비교에 유용하지만 공개 기간이 길어질수록 대규모 웹 수집 데이터와 겹칠 가능성을 완전히 배제하기 어렵다. Deng 등은 공개 학습 말뭉치와 평가 세트의 중복을 검색하는 방식과, 비공개 모델에도 적용할 수 있는 테스트셋 슬롯 추정 절차를 제안해 오염 가능성을 조사했다.^[1]

오염 가능성을 줄이려면 평가 데이터의 공개 시점과 학습 데이터의 범위를 기록하고, 중복 검사와 새로운 평가 세트를 함께 사용하며, 단일 점수를 절대적인 능력으로 해석하지 않는 것이 중요하다. Data Provenance은 어떤 데이터가 어디에서 왔고 어떻게 사용되었는지를 추적하는 기반을 제공하고, HELM 같은 다면적 평가 체계는 하나의 벤치마크 점수에 과도하게 의존하는 문제를 줄이는 데 도움을 준다.

평가 질문이나 정답이 학습 자료에서 발견되면 그 모델의 학습에 실제 포함됐는지, 언제 수집됐는지, 문항 전체인지 흔한 문구인지 확인해야 한다. 정확 문자열 일치, 선택지 순서·표현을 바꾼 유사 문항, 해설이나 번역본을 따로 살핀다. 문자열을 발견했다는 사실만으로 모든 모델이 정답을 외웠다고 결론내리지 않는다.

Deng 등의 오염 조사 ↗는 학습 말뭉치와의 중복 검색 및 테스트셋 슬롯 추정을 이용해 공개·비공개 모델의 오염 가능성을 조사했다.^[1] 각 방법의 관찰 범위와 대체 설명을 함께 읽고, 탐지되지 않았다는 사실도 '학습 중 본 적 없음'의 증명으로 바꾸지 않는다. 수집 시점과 학습 자료 경로를 기록해야 판정의 근거를 좁힐 수 있다.

다음 수치는 가상 점검 자료다. 평가 200문항에서 정확 일치 경고가 30개, 유사 문항 경고가 20개이고 두 경고에 함께 잡힌 문항이 10개라면 고유 경고는 30 + 20 - 10 = 40개다. 경고가 없는 나머지는 160개이며 150개가 아니다. 고유 문항 ID를 기준으로 합집합을 만들고, 자동 경고와 사람의 판정 결과를 별도 필드로 둔다.

가상의 전체 정답이 170개이고 경고 40문항 중 38개가 정답이었다면 전체 정답률은 170 / 200 = 85%, 경고 없는 부분은 (170 - 38) / 160 = 82.5%다. 이 차이는 해당 부분집합의 관찰 결과다. 경고 문항이 전부 오염된 것도, 제외 후 점수가 편향 없는 모델 능력의 추정치가 된 것도 아니다. 제외하면 난도·과목 분포도 바뀔 수 있다.

평가 버전, 원문 ID와 변형·번역 관계, 공개·수집 시점, 중복 판정 기준과 제외 이유를 남긴다. 자료 문서화는 어떤 목적으로 수집·구성한 평가인지 설명하는 데 도움이 된다. Datasheets 연구 ↗는 자료의 동기·구성·수집 과정·권장 용도 등을 기록하는 접근을 제안했다.^[2]

새 비공개 세트를 만들었더라도 설정 선택에 계속 사용하면 이후 비교의 독립성이 줄어든다. 개발용 자료와 최종 평가 자료를 나누고 공개 범위를 정한다. 자료를 새로 만들었다는 이유만으로 난도나 대표성이 이전과 같다고 가정하지 않는다.

MMLU·HELM 결과를 보고할 때 '확인한 학습 자료에서 40개 경고, 검토 기준은 이러함'처럼 실제 조사 범위를 적는다. 비공개 학습 자료를 확인할 수 없다면 그 부분을 미확인으로 남긴다. 점수가 높거나 정답 표현이 같다는 이유만으로 오염을 확정하지 않는다.

모델 카드에는 확인한 중복과 평가 제한을 연결하고 새 업무 질문에서도 남은 오류를 확인한다. 자동 탐지 신호, 수동 검토, 제외 후 평가를 구분해야 개선 결과를 과장하지 않고 재현할 수 있다.

Oren 등의 원문 ↗ §2·§3은 원래 문항 순서와 섞은 순서의 로그확률을 비교하는 검정을 제시한다. 오염이 없을 때의 모델·자료 독립성과 문항 순서의 교환 가능성 같은 가정 아래 거짓 양성률을 제어한다.^[3] 문항이 난도순·시간순으로 구성됐다면 그 가정부터 검토해야 한다. 'black box'는 아무 접근도 필요 없다는 뜻이 아니며, 임의 문자열의 로그확률을 얻지 못하는 서비스에 이 검정을 그대로 적용했다고 말할 수 없다.

원논문 한계 절은 제시한 p값에 다중검정 보정이 적용되지 않았고 실제 자료의 교환 가능성을 확인하기 어렵다고 명시한다.^[3] 다음은 논문 결과가 아닌 계산 예다. 사전에 정한 8개 검정을 가족 단위 오류 수준 0.05에서 Bonferroni 방식으로 다루면 개별 기준은 0.05/8=0.00625다. p=0.01은 개별 0.05 기준은 통과하지만 이 보정 기준은 통과하지 못한다. 탐색한 모델·자료·지시가 더 많았다면 검정 범위를 8개로 임의 축소하지 않는다. 작은 p값을 곧 오염 확률이나 점수 부풀림의 크기로 읽지 않는다.

다음은 ORBiS Tree의 검토 기록 제안이다. 평가 세트 버전·공개 시점·원래 순서의 근거, 질의 가능한 점수 종류, 가설·검정 수·변형 방식, 음성 대조군과 미탐지의 대체 설명을 남긴다. 답변 문구가 닮았다는 관찰과 검정 가정이 충족된 결과를 같은 판정으로 합치지 않는다. 탐지 실패도 학습 자료에 없었다는 증명으로 바꾸지 않는다. 자료 계보와 평가 결과, 공개 보고 범위를 연결하고 비공개여서 확인하지 못한 부분을 명시한다.