개요
MMLU(Measuring Massive Multitask Language Understanding)는 언어 모델이 여러 학문·전문 분야에서 얼마나 폭넓게 지식과 문제 해결 능력을 보이는지 평가하기 위해 제안된 벤치마크다.[1]
구성
원 연구는 수학, 역사, 컴퓨터 과학, 법률 등 다양한 영역의 객관식 문제를 사용해 모델을 평가했다.[1] 단일 과제 점수보다 여러 분야에 걸친 성능을 함께 보는 것이 특징이다.
해석 주의
MMLU 점수는 LLM의 전체 능력을 하나의 숫자로 완전히 설명하지 않는다. 학습 데이터 오염, 프롬프트 방식, 추론 설정 같은 조건에 따라 결과가 달라질 수 있으며, HELM처럼 여러 시나리오와 지표를 함께 보는 평가 접근과 보완적으로 이해할 수 있다.
점수 옆에 남겨야 할 평가 조건
MMLU 원 연구 ↗는 57개 과제의 폭넓은 지식과 문제 해결 능력을 평가했다.[1] 점수를 옮겨 적을 때는 데이터·모델 버전, 사용한 과목과 문항 수, 예시 문항 수, 입력 지시, 생성·답 선택 방식과 채점 규칙을 함께 기록한다. 예시 없이 푼 결과와 몇 개의 풀이 예시를 제공한 결과는 입력 조건이 다르다.
문항별 정답률, 과목별 평균, 모든 문항을 합친 평균 중 무엇인지도 명시한다. 한국어로 번역한 평가라면 원래 문제와 번역 문제의 ID를 연결하고 용어·선택지·정답이 보존됐는지 확인한다. 원문 평가 점수만으로 한국어 서비스 품질을 확정하지 않는다. 모델 문서에 조건을 남겨야 다른 사람이 비교의 범위를 알 수 있다.
계산 예제: 과목 평균 85%와 문항 평균 80.9%
다음은 실제 MMLU 결과가 아닌 두 가상 과목의 예제다. A 과목은 100문항 중 80개, B 과목은 10문항 중 9개를 맞혔다. 두 과목의 정답률은 80%와 90%다. 과목에 같은 가중치를 주는 거시 평균은 (80 + 90) / 2 = 85%이고, 문항을 모두 합친 미시 평균은 89 / 110 = 약 80.9%다.
정답은 그대로여도 가중치와 분모가 달라 점수가 달라진다. 이 예제는 모든 MMLU 구현이 어느 집계를 기본으로 삼는다는 주장이 아니다. 사용한 구현의 집계 규칙을 확인하고 다른 평가 지표와 비교할 때도 같은 이름의 수치가 같은 산식인지 확인한다. 문항이 적은 과목의 점수는 몇 개의 정답 변화에도 크게 움직일 수 있다.
같은 문항에서 좋아진 답과 나빠진 답 찾기
가상의 동일한 50문항에서 두 모델 모두 맞힌 것이 42개, A만 맞힌 것이 3개, B만 맞힌 것이 4개, 둘 다 틀린 것이 1개라면 A는 45 / 50 = 90%, B는 46 / 50 = 92%다. B는 네 문항을 새로 맞혔지만 A가 맞힌 세 문항을 놓쳤다. 순증가 한 문항, 2%포인트 상승을 모든 과목의 개선으로 읽지 않는다.
문항 ID로 전후 결과를 연결해 오류 유형을 나누고, 문항·표본 수와 불확실성을 남긴다. 평가 질문으로 지시를 계속 고친 뒤 같은 세트만 보고하면 최종 점수의 해석이 약해진다. 설정 선택용 자료와 별도의 최종 평가를 구분하고 데이터 중복도 점검한다.
다른 벤치마크와 실제 서비스로 넘어갈 때
MMLU-Pro 연구 ↗는 더 어려운 추론 질문과 선택지 구성 변경 등으로 기존 평가를 보완했다.[2] 이름이 비슷하더라도 자료·난도·채점 조건이 다른 점수를 같은 척도로 빼서 모델이 퇴보했다고 단정하지 않는다. 각 점수의 벤치마크 버전과 조건을 따로 적는다.
객관식 지식 평가가 도구 작업의 완료, 출처 충실성이나 서비스의 권한 안전을 대신하지는 않는다. 실제 업무의 질문·검색·도구·실패 처리까지 평가하고 시스템 문서에서 모델 점수와 최종 서비스 결과를 구분한다.
연구 범위: 원판과 MMLU-Pro의 선택지 구성
MMLU 원문 ↗은 네 선택지의 지식·문제 해결 평가를 다루고, MMLU-Pro 원문 ↗은 더 어려운 추론 질문과 열 선택지로 구성을 확장했다.[1][2] 정답 하나를 모든 선택지에서 균등하게 찍는 단순 가정의 확률은 각각 1/4=25%, 1/10=10%다. 이는 실제 모델의 추측 분포나 능력 점수가 아니다. 문항·난도·내용도 달라졌으므로 점수 차이를 선택지 수 하나의 효과로 설명하지 않는다.
답변 파싱과 지식 오류를 구분하기
다음은 ORBiS Tree의 평가 절차 제안이다. 정답 문구 대신 A~D를 요구하는 실행이라면 유효 출력 규칙, 여러 답을 쓴 경우와 무응답의 처리 방법을 평가 전에 고정한다. 'A 또는 C'를 결과를 본 뒤 편의상 A로 읽지 않는다. 선택지 확률을 직접 비교한 실행과 자유 생성문에서 답을 추출한 실행은 채점 경로가 다르므로 같은 구현으로 표시하지 않는다. 원문 출력·파싱 결과·정답을 따로 남기고 평가 적응 방식과 보고 조건에 연결한다.
선택지 순서 실험의 문항 ID 보존
다음은 설명용 검사 설계다. 질문의 정답이 원래 B였더라도 선택지 순서를 바꾸어 그 정답 문구가 D로 이동하면 채점 기준도 D로 옮겨야 한다. 같은 글자를 계속 답했는지보다 같은 정답 내용을 선택했는지 비교한다. 문항 ID·선택지 텍스트·순열 ID·변경된 정답 매핑을 저장하고, 근거 설명과 최종 선택지가 다른 실패도 분리한다. 변형 문항을 새 독립 표본처럼 합산하지 않으며 설정 선택에 쓴 자료와 최종 자료를 구분한다. 반복 노출도 검토한다.