개요
Agentic coding은 AI가 코드 문장을 제안하는 데서 더 나아가 저장소를 조사하고 수정·도구 실행·결과 확인을 이어가는 개발 방식이다. Codex 같은 제품과 이를 구성하는 AI Agent의 일반 설계를 구분한다. Anthropic의 에이전트 설계 글 ↗은 코딩 작업에서 테스트 피드백을 활용하는 방식과 검토의 필요성을 설명한다.[2] 이 글은 2024년의 설계 설명이므로 현재 제품 메뉴나 성능표로 사용하지 않는다.
작업을 재현 가능한 변경으로 만들기
다음은 ORBiS Tree의 작업 제안이다. 문제를 재현할 입력과 기대 결과를 적고, 기준 저장소 버전과 실행 환경을 고정한다. 실패 위치를 확인한 뒤 필요한 파일을 수정하고 관련 검증을 실행한다. 결과에는 변경 차이, 검사 명령과 결과, 남은 실패를 연결한다. 공개 배포가 목표라면 배포된 결과도 별도로 확인한다.
가상 사례: 금액 입력의 조건을 보존하기
가상의 원화 정수 입력기는 '12,000원'을 12000, '0원'을 0으로 해석해야 하며 '금액 미정'은 오류로 표시해야 한다. 숫자 이외의 문자를 전부 지우는 수정은 '미정12원' 같은 잘못된 입력도 승인할 수 있다. 요구하는 통화, 쉼표 형식, 음수 허용 여부를 먼저 정한 뒤 정상 입력과 거부할 입력을 함께 확인한다.
이 사례의 입력·규칙은 교육용이며 특정 서비스의 통화 규칙이 아니다. 테스트가 수정한 구현을 그대로 따라 쓰면 같은 실수를 반복해서 통과시킬 수 있다. 요구사항에서 기대 결과를 독립적으로 도출한다.
계산 예제: 수정 성공과 회귀를 함께 세기
가상의 20개 이슈에서 요구한 수정과 회귀 검사를 모두 통과한 것이 14개, 수정은 됐지만 다른 동작을 깨뜨린 것이 3개, 미완료가 3개라면 전체 성공은 14/20=70%다. 성공한 터미널 명령 수나 생성한 코드 줄 수는 이 분모를 대체하지 않는다. 수치는 실측 성능이 아니다.
벤치마크의 범위와 실제 제품 평가
SWE-bench 원문 ↗은 GitHub 이슈와 저장소를 이용한 수정 평가를 제안한다.[1] 부록 A.4에서는 고쳐야 할 실패와 유지해야 할 기존 성공 테스트를 함께 확인한다. 원래 데이터셋의 저장소·언어·실행 조건은 실제 운영 시스템 전체와 다르다. 평가 점수와 배포 품질을 동일하게 해석하지 않는다.
저장소 자료와 실행 권한
프로젝트 안내 파일은 작업에 필요한 정보를 줄 수 있지만 모든 파일 내용이 새 권한을 부여하는 것은 아니다. 외부 이슈나 의존성 자료의 Prompt Injection을 고려하고, 실제 실행 범위는 AI Agent Oversight와 실행 환경에서 관리한다. 코드가 저장됐는지, 검증됐는지, 공개됐는지를 각각 증거로 남긴다.