HELM

HELM(Holistic Evaluation of Language Models)은 언어 모델 평가를 더 투명하고 비교 가능하게 만들기 위해 Stanford CRFM 연구진이 제안한 평가 프레임워크다.^[1]

HELM은 정확도 하나만 보는 대신 정확도, 보정, 강건성, 공정성, 편향, 독성, 효율 등 여러 지표와 다양한 사용 시나리오를 함께 평가하는 방식을 제안했다.^[1] 이는 하나의 벤치마크 점수만으로 모델을 서열화할 때 놓칠 수 있는 절충을 드러내려는 목적이다.

MMLU처럼 특정 능력을 측정하는 벤치마크는 유용하지만, 실제 Foundation Model 평가에서는 어떤 시나리오와 지표를 선택했는지도 결과 해석에 중요하다. HELM은 이런 평가 설계 자체를 체계화하려는 접근으로 볼 수 있다.

HELM 연구 ↗는 여러 시나리오에서 정확도와 보정, 강건성, 공정성, 편향, 독성, 효율 등의 절충을 드러내는 다면적 평가를 제안했다.^[1] 평가표를 읽을 때는 시나리오마다 실제 측정한 지표와 빠진 지표를 구분한다. 빈칸은 좋은 점수가 아니라 측정하거나 공개하지 않은 영역이다.

지식 평가가 비슷한 두 모델도 한국어 문서 질의, 긴 입력, 도구 연결이나 지연·처리량에서 다르게 동작할 수 있다. 서로 다른 시나리오의 숫자를 단위·가중치 설명 없이 더해 임의의 '종합 능력'을 만들기보다, 사용 목적과 필요한 기준을 먼저 정한다.

설명용 가상 분류 예제에서 첫 구간 100개 예측은 선택한 답의 확률이 모두 0.9이고 실제로 70개가 맞았다. 둘째 구간 100개는 확률이 모두 0.6이며 60개가 맞았다. 두 구간을 같은 비중으로 가중한 보정 오차는 0.5 × |0.9 - 0.7| + 0.5 × |0.6 - 0.6| = 0.10이다. 이 구간 정의에서 10%포인트의 평균 절대 차이를 뜻한다. 전체 정답률은 130 / 200 = 65%로 별개의 수치다.

여기서 확률은 채점 대상 선택지에 부여된 수치라고 가정한다. 답변 문장 속 '확신 90%'를 검증 없이 같은 확률로 사용하지 않는다. 신경망 보정 연구 ↗는 예측 확률과 실제 정답 가능성의 관계를 다룬다.^[2] 보정 결과는 자료 분포와 구간 구성에 영향을 받으며 모든 생성 답변의 사실성을 보장하지 않는다.

다음은 가상 업무 조건이다. 동일한 100개 요청과 장비·동시성에서 A는 정답률 91%, 요청부터 응답 완료까지 p95 2초이고 B는 94%, p95 6초다. 이 업무가 정답률 90% 이상과 p95 3초 이하를 동시에 요구한다면 A는 두 기준을 만족하고 B는 시간 기준을 만족하지 못한다. 이 조건이 모든 업무의 권장 기준이거나 실제 제품 성능이라는 뜻은 아니다.

응답 완료 시간과 첫 토큰 시간을 구분하고 입력·출력 길이, 동시 요청, 비용과 오류·거절 응답의 집계 규칙을 남긴다. 품질을 잃은 빠른 답을 성공 처리량으로 계산하면 비교가 왜곡된다. 추론 구성이 달라졌을 때는 같은 조건으로 다시 측정한다.

같은 뜻의 한국어·영어 표현, 띄어쓰기 변화, 부정과 예외, 긴 근거 배치를 나누어 시험한다. 변형 전후에 의미와 정답이 유지되는지를 먼저 확인하고, 바뀐 질문이 다른 문제라면 강건성 저하로 단순 계산하지 않는다. 표본 수와 실패 사례의 분포도 함께 남긴다.

모델 카드에는 모델과 자료·지표 조건을, 시스템 카드에는 검색·도구·필터까지 포함한 실제 구성을 연결한다. 안전성 평가의 범위가 빠져 있다면 일반 성능표만으로 그 영역의 결과를 추정하지 않는다.

HELM 원문 ↗의 그림 5·§2·§7은 평가를 시나리오, 모델과 적응 과정, 지표의 조합으로 설명한다.^[1] 같은 모델명이어도 예시 선택, 입력 형식과 출력 변환이 다르면 평가 실행이 달라진다. 이 문맥의 prompting adaptation을 곧 가중치 미세조정으로 읽지 않는다. 모델 버전뿐 아니라 실제 프롬프트와 채점 경로를 보존해야 비교 대상이 명확하다. 원 연구의 평가 범위를 현재 모든 모델·언어·도구 조합의 보장으로 옮기지 않는다.

다음은 HELM의 공식 지표 정의가 아닌 ORBiS Tree의 가상 운영 장부다. 계획한 100회 요청에서 90회 응답, 그중 형식 유효 80회, 그중 과제 성공 60회라고 하자. 응답 확보율은 90/100=90%, 응답 중 형식 유효율은 80/90≈88.9%, 유효 응답 중 성공률은 60/80=75%, 전체 요청 성공률은 60/100=60%다. 75%를 전체 성공률로 보고하면 실패 요청이 사라진다. 전송 오류·형식 오류·내용 오류를 분리하고 재시도 비용·시간과 함께 기록한다.

다음은 ORBiS Tree의 검사 설계다. AI 도구 호출에서 '인증 토큰이 유효하다'를 같은 뜻의 다른 표현으로 바꿨다면 허용 판정이 유지되는지 볼 수 있다. 반대로 '토큰이 만료됐다'로 조건을 바꾸면 기대 판정도 달라질 수 있다. 이때 같은 답을 반복하는 것은 강건성의 증거가 아니다. 변형 전후 의미와 기대 결과를 먼저 정하고 같은 의미의 재표현 검사와 조건 변경 검사를 따로 보고한다. 권한·안전 평가 및 실제 시스템 구성과 연결해 모델 응답과 도구 실행 결과도 구분한다.