개요
Model Card는 학습된 머신러닝 모델을 공개할 때 모델의 용도, 성능 특성, 평가 절차와 제한사항을 함께 설명하기 위한 문서화 방식이다. 원 논문은 모델이 적합하지 않은 맥락에서 사용되는 위험을 줄이고 모델 보고의 투명성을 높이기 위한 프레임워크로 Model Cards를 제안했다.[1]
무엇을 기록하는가
Model Card는 단순한 정확도 숫자만 기록하는 문서가 아니다. 의도한 사용 사례, 평가 데이터와 절차, 여러 조건에서의 성능과 윤리적 고려사항 등 모델을 해석하는 데 필요한 맥락을 함께 제공하도록 제안됐다.[1]
평가와의 관계
MMLU나 HELM 같은 벤치마크는 모델의 일부 성능을 측정할 수 있지만 결과를 어떤 조건에서 얻었는지 설명하는 문서도 중요하다. Model Card는 이런 평가 결과와 모델의 사용 범위를 함께 전달하는 수단으로 볼 수 있다.
읽을 때 확인할 항목
Model Card를 볼 때는 모델명과 점수만 확인하기보다 의도된 용도와 비권장 용도, 평가 데이터, 성능을 나눈 하위 집단, 알려진 제한사항, 학습·평가 조건을 함께 보는 것이 중요하다.[1] 같은 벤치마크 이름이 적혀 있어도 프롬프트, 평가 버전, 채점 방식이 다르면 결과를 직접 비교하기 어렵다.
공개되지 않은 정보도 신호다
문서화는 존재하는 항목뿐 아니라 빠진 항목도 보여준다. 데이터 구성, 안전 평가, 특정 사용 환경의 한계가 공개되지 않았다면 그 부분은 '문제가 없다'가 아니라 확인 가능한 정보가 부족하다는 뜻으로 해석하는 편이 안전하다.
모델과 시스템을 구분하기
실제 AI 서비스의 동작은 기반 모델만으로 결정되지 않는다. 시스템 지시, 검색, 도구, 필터, 후처리와 운영 정책이 함께 결과를 만든다. 따라서 Model Card는 모델 자체의 정보를 이해하는 출발점이고, 실제 서비스 수준의 위험·성능 평가는 별도의 시스템 문서와 운영 조건까지 함께 확인해야 한다.
사례: 공개 AI 문서 질의 모델의 카드 채우기
가상의 모델 DOC-QA-1.2를 '공개 AI 제품 문서에 근거한 질의응답'용으로 만든다고 하자. 카드에는 모델·토크나이저 버전, 문서 수집·평가 시점, 입력과 출력의 형태, 사용 언어, 평가 세트·지시·채점 방법을 적는다. 지원 범위에 없는 문서나 도구 작업의 성공을 모델 이름만으로 약속하지 않는다. 값이 공개되지 않은 항목은 미확인으로 남긴다.
이 예시는 ORBiS Tree의 설명용 서식이며 모든 기관의 의무 표준이 아니다. Model Cards 원 연구 ↗는 의도한 용도와 다양한 조건에서의 성능·제한을 함께 전달하는 문서화를 제안했다.[1] 문서 제목이나 모델 규모보다 어떤 이용 조건과 근거가 실제로 적혀 있는지 확인한다.
계산 예제: 전체 87.1%가 한국어 70%를 가릴 때
다음 결과는 가상 평가다. 영어 100문항 중 94개, 한국어 40문항 중 28개가 정답이면 전체는 122 / 140 = 약 87.1%다. 한국어 부분은 28 / 40 = 70%다. 전체 점수만 적으면 언어 구성의 차이와 한국어 오류를 놓칠 수 있다. 문항 수와 각 언어의 정답률을 같이 남긴다.
하위 집단은 현재 업무에서 중요한 언어·문서 길이·제품 코드·부정 조건 등으로 정하고, 집단끼리 문항이 겹치는지도 설명한다. 이 예제의 '언어 집단'은 사람의 인구 집단을 평가한 것과 같은 뜻이 아니다. 다면적 지표와 집계 방식을 연결해 산식과 자료 구성이 다른 점수를 구분한다.
학습·평가 자료에서 빠진 정보를 드러내기
데이터 문서에 자료의 목적·구성·수집·변환 과정을 연결하고 모델 카드에는 그 자료가 어디에 쓰였는지 적는다. Datasheets 연구 ↗는 자료 생산자와 이용자가 이런 맥락을 전달하는 접근을 제안했다.[2] 비공개 학습 자료의 상세 구성이 확인되지 않으면 '문제 없음'으로 바꾸어 쓰지 않는다.
자료 버전과 평가 중복 조사 범위, 최종 평가 전에 설정을 고른 자료를 구분한다. 사용 조건이나 알려진 제한의 확인 위치도 남긴다. 카드가 있다는 사실은 독립 검증·모든 이용 권한·안전성 인증을 대신하지 않는다.
모델이 같아도 서비스 카드를 따로 보는 이유
모델 가중치가 그대로여도 검색 인덱스, 시스템 지시, 도구 권한과 후처리 필터가 달라지면 최종 결과가 바뀔 수 있다. 모델 카드에는 모델 단위 결과를 보존하고, 서비스 구성을 포함한 시스템 카드의 버전·시험 결과를 연결한다. 모델의 단독 질의응답 점수로 실제 공개 발행이나 저장 작업 성공을 계산하지 않는다.
변경 날짜, 무엇이 바뀌었는지, 다시 시험한 자료와 남은 제한을 적고 이전 결과를 새 버전의 성능처럼 옮기지 않는다. 업무별 안전 평가도 확인한 범위와 미확인 영역을 같이 남겨야 문서가 판단에 도움이 된다.