개요
Datasheets for Datasets는 머신러닝 데이터셋을 공개하거나 공유할 때 데이터의 생성 동기, 구성, 수집 과정, 전처리, 배포 조건, 권장 사용과 유지관리 정보를 체계적으로 기록하자는 문서화 접근법이다. Gebru 등은 전자 부품의 데이터시트에서 아이디어를 가져와 데이터셋 제작자가 답할 수 있는 표준 질문 집합을 제안했다.[1]
왜 필요한가
데이터셋 이름과 다운로드 주소만으로는 어떤 집단이나 기간을 포함하는지, 어떤 수집·정제 과정을 거쳤는지, 어떤 용도에는 부적절한지 알기 어렵다. 이런 맥락이 빠지면 모델 성능이나 편향, 법적·윤리적 위험을 재현하고 해석하기도 어려워진다.[1]
다른 문서와의 관계
Datasheet는 데이터 자체의 설명에 초점을 두고, Model Card는 모델의 용도와 평가를, System Card는 실제 시스템 구성과 상호작용을 설명한다. Data Provenance은 데이터의 계보와 출처 추적을 보완하며, 평가 데이터 문서가 충실하면 Benchmark Data Contamination 가능성을 조사할 때도 공개 시점과 구성 정보를 확인하기 쉬워진다.
작은 데이터시트 작성 사례
다음은 ORBiS Tree가 만든 가상 사례다. 고객 문의 분류용 자료를 정리한다면 '고객 문의 모음'이라는 설명만으로는 사용 한계를 알기 어렵다. Datasheets for Datasets는 자료의 목적·구성·수집 과정·사용 등 맥락을 문서로 남기는 접근을 제안한다.[1]
- 목적: 배송·반품 문의의 분류를 평가하기 위해 만들었다.
- 구성: 어느 기간과 채널의 자료인지, 표본에서 제외한 문의가 무엇인지 적는다.
- 라벨: 분류 기준, 작성자 간 불일치와 확인 방법을 기록한다.
- 처리: 개인정보 제거, 중복 정리와 원문 변환 과정을 설명한다.
- 사용 한계: 자료에 없는 상품·언어·최근 정책에 성능을 일반화하지 않는다.
- 갱신: 담당자, 자료 버전과 바뀐 항목을 기록한다.
위 항목은 예시이며 모든 자료가 같은 수의 문항을 채워야 한다는 표준이나 인증 기준은 아니다. 확인하지 않은 항목은 '없음'으로 단정하기보다 미확인으로 남긴다.
모델 카드·자료 출처와의 차이
Model Card는 모델의 용도와 평가 조건·한계를 보고하는 문서다.[2] 데이터시트는 자료 자체의 구성과 생산 과정을 설명한다. Data Provenance는 어떤 원본과 변환을 거쳤는지 추적하는 배경이다. 셋은 연결될 수 있지만 데이터시트가 있다는 사실만으로 모델 성능이나 법적 사용 권한이 보장되지는 않는다.
평가에서 활용하기
새 모델을 비교할 때 평가 자료가 실제 업무 조건을 대표하는지 데이터시트로 확인한다. 누락된 기간과 드문 분류, 수집 방식의 변화가 있으면 결과를 따로 해석한다. AI for Science처럼 자료 분할과 재현이 중요한 작업에서도 어떤 조건에서 얻은 결과인지 확인하는 출발점이 된다.
예제: 숫자로 읽을 수 있는 데이터시트
다음은 실제 데이터셋이 아닌 가상의 문의 분류 자료다. 수집한 1,200행에서 중복 200행을 제거해 1,000행을 남겼다고 하자. 배송 600, 반품 300, 사용법 100이면 구성 비율은 60%·30%·10%다. 제거 전·후 수를 함께 적고 '중복'을 같은 고객·같은 문의·같은 문장 중 무엇으로 판정했는지 기록한다. 1,000행이라는 숫자만으로 독립된 문의가 1,000개라고 단정하지 않는다.
Datasheets 원논문 ↗은 생성 동기부터 수집·사용·유지관리까지 질문하는 문서화 접근의 근거다.[1] 예제 데이터시트에는 수집 기간·채널·포함과 제외 조건·라벨 작성 기준·중복 처리·담당자·버전을 남긴다. 확인하지 않은 사용 허가는 '허가 없음'이나 '허가됨'으로 바꾸지 않고 미확인으로 표시한다.
800·200 분할이 평가를 보장하지 않는 이유
가상의 1,000행을 학습 800·평가 200으로 나눴더라도 같은 문의의 변형이나 같은 고객의 연속 대화가 양쪽에 있으면 쉬운 평가가 될 수 있다. 무엇을 독립 단위로 둘지 정하고 고객·문의·기간 등 실제 과제에 맞는 그룹으로 분할한다. 전체 비율 외에 각 분류와 채널이 평가에 얼마나 포함됐는지 확인한다.
평가 자료 오염에는 공개 시점과 모델·개발 과정에서의 접근 여부도 관련된다. 이 예제의 그룹 분할만으로 모든 오염이 제거됐다는 뜻은 아니다. 과학 연구의 실험 조건 분리와 마찬가지로 실제 일반화할 대상에 맞춰 평가 단위를 정한다.
자료 버전이 바뀌면 비교 조건도 바뀐다
버전 v1에서 '취소'를 반품으로 분류했지만 v2에서 별도 라벨로 바꿨다고 하자. 점수 변화에는 모델의 변화와 정답 기준의 변화가 함께 섞일 수 있다. 라벨 기준·수정 행·제외 행·파일 버전을 남기고, 모델 비교에는 같은 평가 자료와 기준을 사용하거나 변경 영향을 별도로 보고한다.
원본과 변환 단계는 자료 계보로 연결하고, 이미 배포한 모델의 영향은 모델 카드의 평가 범위와 연결한다. Model Cards 논문 ↗은 모델 사용 조건과 평가를 보고하는 별도 문서화 접근이다.[2] 자료 설명과 모델 성능 보고를 한 문서의 이름으로 대신하지 않는다.
최소 검토를 실제 질문으로 바꾸기
- 출처·수집 기간·변환 기록으로 결과를 다시 만들 수 있는가?
- 누락된 집단·언어·최근 정책과 드문 라벨을 표시했는가?
- 개인정보 처리와 이용 조건을 확인한 근거가 있는가, 아니면 미확인인가?
- 갱신 담당자와 변경 기록, 이전 버전을 재현할 방법이 있는가?
- 문서의 권장 용도와 실제 사용하는 모델·업무가 일치하는가?
문서가 존재한다는 사실만으로 성능이나 사용 권한을 보증하지 않는다. 시스템 구성과 실제 사용 조건의 평가까지 연결해 자료가 어디에 쓰였는지 추적한다.