개요
자동 AI 연구자는 연구 문제의 일부 또는 여러 단계를 도구·모델·실행 환경으로 연결해 수행하는 시스템을 가리킨다. 문헌 요약, 가설 제안, 실험 코드 작성, 실행, 분석, 논문 집필은 각각 다른 능력이다. AI Scientist-v2 ↗는 에이전트 트리 탐색을 이용한 계산 연구 자동화의 사례다.[1]
AI for Science는 과학에서 AI를 쓰는 넓은 영역이고, 자동 연구자는 연구 과정의 자동화 범위를 묻는다. 물성을 예측하는 모델을 사용했다고 연구 주제 선정부터 발견의 검증까지 자동화한 것은 아니다.
2026년 사례를 읽는 순서
자료 확인일은 2026년 10월 20일이다. Nature의 2026년 3월 25일 논문 ↗은 AI Scientist 연구를 정리한다.[2] 시스템을 설명하는 연구 논문의 출판과 시스템이 생성한 개별 논문의 검증은 구분해야 한다.
2026년 10월 13일 Agentic Scientist 사전공개 논문 ↗은 과제 작성, 아이디어, 실행, 근거 생성과 집필을 연결하는 구성을 제안한다.[3] 연구진의 프로젝트 보고 ↗는 ALIFE 사례에서 사람이 방향을 정하고 구현·결과·인용을 검증했음을 밝힌다.[4] 이를 사람 없는 모든 분야의 독립 발견으로 확대해 읽지 않는다.
작동 구조: 가설부터 근거까지 연결하기
다음은 원문을 읽기 위한 ORBiS Tree의 정리다. 질문·허용 자료·계산 예산·비교 기준을 먼저 정하고, 가설이 어떤 관찰에서 틀렸다고 판정될지 적는다. 실행 단계는 그 가설을 실제로 시험하는 코드와 자료를 만들고, 분석 단계는 결과가 말할 수 있는 범위를 정한다. 집필은 확인한 기록에서 주장을 도출하는 단계다.
역할별 산출물은 질문 → 구현 → 실행 기록 → 표·그림 → 결론으로 거슬러 추적할 수 있어야 한다. 실행 실패나 무효 실험이 다음 단계로 넘어가면 긴 보고서가 있어도 근거가 연결되지 않는다. Agentic Coding이 실험 구현을 지원하고 Data Provenance가 자료와 변환의 계보를 설명한다.
가상 사례: 후보 수와 검증 수의 분모
가상의 계산 연구에서 아이디어 12개 중 4개를 구현했고, 3개가 사전에 정한 방법 조건을 지켰으며, 그중 2개가 독립 재실행에서 결과를 유지했다고 하자. 전체 아이디어 기준 유지 비율은 2/12≈16.7%, 유효 실험 기준은 2/3≈66.7%다. 둘 다 계산은 맞지만 다른 질문이다. 구현된 4개만 보여 주면 탈락한 8개의 비용과 이유를 놓친다.
이 수치는 교육용이며 실제 연구 시스템의 성능이 아니다. '독립 재실행'도 코드·자료·환경을 다시 실행한 조건을 뜻하도록 정의해야 한다. 동일 자료 재실행과 새로운 모집단에서의 재현을 구분하고, 연구 내용의 중요성을 이 비율 하나로 판단하지 않는다.
평가: 점수 최적화와 과학적 검증
점수를 높인 변경이 제안한 원리를 보존했는지 확인해야 한다. 비교 기준선과 같은 자료·예산을 쓰고, 핵심 구성 요소를 제거한 ablation으로 기여를 살펴볼 수 있다. 후보를 고르는 자료와 마지막 평가 자료를 분리하고 평가 코드를 후보가 임의로 바꿀 수 있는지도 확인한다. 이는 이 문서의 평가 제안이다.
Benchmark Data Contamination은 선택·평가 중복을, Hallucination (AI)는 생성한 주장과 근거의 불일치를 검토하는 배경이다. 평가자가 부여한 논문 점수, 외부 심사 통과와 관찰 결과의 정확성은 서로 다른 검증 단계다.
한계: 자동 평가와 외부 검증을 구분하기
Agentic Scientist 프로젝트의 한계 설명은 AI 심사 점수가 과학적 정확성의 독립 증거가 아니며, 외부 동료 심사를 받은 Error Diffusion 논문과 내부 평가용 원고를 구분한다.[4] 계산 기계학습 사례에서 얻은 결과를 장비·물리 실험·사람 대상 연구로 옮길 근거도 별도로 필요하다.
연구 문제 선택, 부적절한 비교 발견, 저작·기여 표시와 최종 주장에 대한 책임을 누가 맡았는지 남긴다. '논문 작성 완료'는 '연구 주장 확립'의 대체어가 아니다. 최신 결과의 방법·실패·평가 범위를 함께 읽어야 자동화 수준을 판단할 수 있다.
연관 문서와 개선 루프
AI for Science에서 응용 분야를, Agentic Coding에서 실험 코드의 검증을, AI Agent Oversight에서 실행 범위를 이어 읽을 수 있다. 연구자가 결과물을 개선하는 것과 연구 시스템 자신을 개선하는 것은 다른 주장이다. 후자는 Recursive Self-Improvement에서 다룬다. Model Context Protocol은 자료·도구 연결 방법이며 과학적 검증을 대신하지 않는다.