Model Card

Model Card는 학습된 머신러닝 모델을 공개할 때 모델의 용도, 성능 특성, 평가 절차와 제한사항을 함께 설명하기 위한 문서화 방식이다. 원 논문은 모델이 적합하지 않은 맥락에서 사용되는 위험을 줄이고 모델 보고의 투명성을 높이기 위한 프레임워크로 Model Cards를 제안했다.^[1]

Model Card는 단순한 정확도 숫자만 기록하는 문서가 아니다. 의도한 사용 사례, 평가 데이터와 절차, 여러 조건에서의 성능과 윤리적 고려사항 등 모델을 해석하는 데 필요한 맥락을 함께 제공하도록 제안됐다.^[1]

MMLU나 HELM 같은 벤치마크는 모델의 일부 성능을 측정할 수 있지만 결과를 어떤 조건에서 얻었는지 설명하는 문서도 중요하다. Model Card는 이런 평가 결과와 모델의 사용 범위를 함께 전달하는 수단으로 볼 수 있다.