개요
Data Provenance는 데이터가 어디에서 왔는지, 누가 만들거나 수집했는지, 어떤 변환을 거쳤는지, 어떤 라이선스와 조건 아래 배포·사용되었는지를 추적하는 계보 정보를 말한다. AI에서는 학습 데이터의 규모가 커지고 여러 데이터셋이 재가공되면서 출처와 사용 조건을 다시 확인할 수 있는 기록이 특히 중요해졌다.[1]
데이터셋 투명성
Data Provenance Initiative는 대규모 텍스트 데이터셋을 조사해 원천 출처, 제작자, 라이선스 조건과 후속 사용 관계를 추적하는 방법과 공개 컬렉션을 제시했다.[1] 이 작업은 데이터셋 이름만 아는 것과 실제 원천과 허용 조건을 이해하는 것이 다르다는 점을 보여준다.
평가와 문서화
출처 기록은 Benchmark Data Contamination 같은 평가 문제를 조사할 때도 도움이 된다. 또한 Datasheets for Datasets처럼 데이터셋의 구성과 수집 과정, 권장 사용 범위를 문서화하는 방식과 결합하면 모델이나 시스템의 주장에 근거가 되는 데이터 맥락을 더 명확하게 남길 수 있다. Provenance가 있다고 해서 데이터 사용의 적법성이나 품질이 자동으로 보장되는 것은 아니며, 판단에 필요한 추적 가능성을 높이는 기반으로 보는 것이 적절하다.
예제: 원문에서 답변 근거까지 이어지는 기록
가상의 자료 처리 흐름을 raw-v1.csv → cleaned-v2.csv → index-v3 → answer-42로 적어 보자. 각 단계에는 입력 버전·변환 규칙·출력 식별자·처리 시점·담당 주체를 남긴다. 원문 1,000행에서 중복 100행과 누락값 50행을 제외했다고 할 때 두 제외 집합이 겹치지 않았다면 850행이다. 50행 중 20행이 이미 중복 집합에 있었다면 고유 제외는 130행이고 결과는 870행이다. 삭제 수를 단순 합산하면 결과가 달라지는 이유다. 숫자와 파일명은 가상 예다.
W3C PROV-O ↗는 자료(entity), 처리 활동(activity), 책임 있는 주체(agent)와 관계를 표현하는 출발점이다.[2] 이 예제는 필수 표준 스키마가 아니라 적용 예다. 자료 구성과 검색·생성 단계를 연결해 어떤 원문이 실제 근거였는지 추적한다.
URL·내용 확인값·권한 조건의 역할
URL은 위치를 찾는 데 쓰지만 같은 주소의 내용이 바뀔 수 있다. 파일 식별자나 내용 확인값은 어떤 버전을 비교했는지 돕지만 자료의 진실성·소유권·이용 허가를 증명하지 않는다. 원문 주소·수집 시점·버전·변환 기록과 확인한 이용 조건을 따로 남긴다. 허가를 확인하지 못했으면 '미확인'으로 기록한다.
Data Provenance Initiative 연구 ↗는 데이터셋의 원천·라이선스·재배포 관계를 추적하는 연구 사례다.[1] 문서가 있다는 사실만으로 모든 사용 조건을 충족했다고 읽지 않는다. 평가 오염을 조사할 때는 평가 자료의 공개·접근 시점과 학습·개발 기록도 대조한다.
원문 수정·삭제가 영향을 주는 곳 찾기
원문이 수정되면 정제본·요약·임베딩·검색 인덱스·답변 캐시 중 무엇을 갱신할지 관계를 따라 확인한다. 어느 단계까지 반영됐는지 상태를 기록하고, 이전 원문으로 만든 결과를 최신 버전인 것처럼 표시하지 않는다. 삭제도 원문 파일 하나와 파생 자료의 처리를 구분한다. 백업의 보존과 제거 시점은 실제 운영 정책으로 확인한다.
저장된 사용자 상태의 출처도 같은 방식으로 연결할 수 있다. 모델 평가 보고에는 사용한 자료 버전을, 시스템 설명에는 실제로 흐른 변환·조회 경로를 남긴다. 출처 기록은 잘못된 결과의 영향 범위와 재평가 대상을 찾는 데 쓰인다.