AI Agent Oversight

AI Agent Oversight는 에이전트가 목표를 해석하고 도구를 실행하는 과정에서 사람이 의미 있는 통제와 검토를 할 수 있게 만드는 설계다. Anthropic은 정해진 경로를 따르는 workflow와 모델이 다음 행동을 선택하는 agent를 구분한다.^[1] 같은 AI Agent라도 모델, 지시·실행 환경, 도구와 접근 가능한 자료에 따라 감독할 지점이 달라진다.^[2]

실행 전에는 목표와 범위, 접근할 자료와 수정할 대상을 정한다. 실행 중에는 실패 신호와 새로운 조건을 관찰하고 필요하면 중단한다. 실행 후에는 실제 변경과 결과물을 원자료·업무 시스템에서 확인한다. 모델의 '완료했다'는 문장과 도구의 성공 결과, 최종 상태가 서로 일치하는지가 중요하다.

자료 읽기, 초안 작성, 외부 전송과 삭제는 영향과 복구 가능성이 다르다. 요청 목적에 맞는 권한을 부여하고, 중요한 실행에는 대상·내용·예상 영향을 확인할 수 있는 검토 화면이나 기록을 제공한다. Anthropic도 사람이 도구와 행동의 허용 범위를 선택하는 방식 및 보안·개인정보의 여러 층위를 설명한다.^[2]

다음은 가상 사례다. 에이전트가 메모에서 후속 작업 후보를 찾아 담당자·기한을 정리한다. 메모의 인용문과 실제 업무 지시를 혼동해 다른 사람에게 바로 요청을 보내면 잘못된 실행이 될 수 있다. 후보 초안에는 근거 문장과 미확정 담당자를 표시하고, 실제 전송 전에는 확정된 수신자와 내용을 검토할 수 있어야 한다. 외부 자료에 들어 있는 지시는 사용자가 부여한 권한으로 취급하지 않는다.

매 단계마다 같은 확인 창을 보여주면 중요한 차이를 읽지 않게 되는 승인 피로가 생길 수 있다. 조회처럼 반복되는 행동은 사전에 범위를 정하고, 새로운 대상이나 복구하기 어려운 변경처럼 의미 있는 차이가 있을 때 검토를 집중하는 설계가 유용하다. 이는 특정 서비스에 일괄 적용되는 정책이 아니라 작업의 영향에 맞춰 판단할 설계 원칙이다.

평가에는 잘못된 대상 선택, 도구 실패, 자료 안의 악성 지시, 오래된 메모리와 충돌하는 지시를 포함한다. 작업 성공률뿐 아니라 필요한 때 멈췄는지, 불필요한 확인이 얼마나 많았는지, 변경을 되돌릴 수 있는지도 기록한다. 감독 장치가 있다는 사실만으로 공격과 오작동이 사라지는 것은 아니다.^[2] AI Alignment, Red Teaming과 AI Memory가 관련된 배경 문서다.

Anthropic의 에이전트 설계 글 ↗은 정해진 workflow와 행동을 선택하는 agent를 구분한다.^[1] 감독을 설계할 때는 목표 문장만 두지 말고 허용한 자료·도구·대상과 완료 상태를 연결한다. 예를 들어 '문의 답변을 준비해 줘'의 완료는 초안 작성이고, '확정한 답변을 전송해 줘'에는 수신자와 실제 전송 결과가 포함된다.

아래의 정책 예시는 ORBiS Tree가 설명을 위해 구성했다. 문서 읽기와 임시 초안 저장은 허용 범위 안에서 진행하고, 외부 전송은 확정한 대상과 내용만 실행하도록 정할 수 있다. 삭제나 결제처럼 영향이 큰 행동은 별도 권한·복구 조건을 둔다. 행동의 이름만으로 위험도를 정하지 않고 대상 수와 되돌리기 가능성도 본다.

가상의 문의 답변 도구가 초안을 작성했다고 하자. 검토 항목은 문의 ID, 수신자, 참조한 정책 버전과 답변 내용이다. 검토 후 전송 호출이 시간 초과됐다고 해서 '실패했으니 다시 보내면 된다'고 바로 판단하면 중복 전송이 생길 수 있다. 서버는 요청을 받았지만 응답만 유실됐을 수도 있기 때문이다.

상태를 draft, approved, executing, confirmed, uncertain처럼 구분할 수 있다. uncertain에서는 실제 전송 기록을 조회하고, 같은 작업 식별자로 중복 처리를 막는 설계를 검토한다. 이는 특정 프레임워크의 상태 이름이나 모든 도구가 지원하는 기능이 아니다. 작업 상태 저장와 외부 시스템의 최종 상태를 별도로 확인하는 예다.

검토자가 확인해야 하는 것은 도구 호출 수 자체보다 결과의 차이다. 이전 초안과 바뀐 문장, 새 수신자, 추가 첨부 파일, 대량 변경의 범위를 보여준다. '계속할까요?'만 반복하면 무엇을 승인했는지 남지 않는다. 조회 권한과 변경 권한을 나누고, 외부 문서의 인용문은 사용자의 새 지시로 승격하지 않는다.

에이전트 통제에 관한 Anthropic의 설명 ↗은 모델·도구·환경을 함께 검토해야 하는 배경이다.^[2] 목표 정렬은 무엇을 하려는지, 레드팀 평가는 어떤 실패를 유도해 볼지, 이 문서는 실제 실행과 개입 지점을 다룬다.

가상의 20개 과제에서 16개가 완료됐다고만 기록하면 4개 실패의 영향을 알기 어렵다. 자료 부족으로 멈춘 것, 잘못된 대상으로 실행한 것, 결과 확인을 빠뜨린 것, 불필요하게 사용자를 부른 것을 나누어 기록한다. 20개와 16개는 설명용 숫자다. 권한 밖 실행은 완료율과 별도의 실패 항목으로 남긴다.

도구 입력·결과·검토 내용·최종 상태를 연결하되 민감한 자료를 모두 로그에 복사하지 않는다. 시스템 카드에는 구성과 검토 경계를, 안전 평가에는 시험 조건과 남은 실패를 기록하는 관점으로 이어진다.