개요
Computer use는 AI가 컴퓨터 인터페이스를 관찰하고 클릭·입력 같은 동작을 선택하는 방식이다. AI Agent의 행동 경로 중 하나이며 모든 에이전트가 화면을 조작하는 것은 아니다. Anthropic의 도구 문서 ↗는 화면 관찰과 마우스·키보드 제어, 이를 실제 환경에서 수행하는 애플리케이션을 구분한다.[1]
API·브라우저·화면 조작을 고르는 기준
다음은 ORBiS Tree의 설계 비교다. 구조화된 API가 있으면 필드와 반환값을 명시적으로 다룰 수 있다. 브라우저의 문서 구조를 읽는 방식은 웹 요소를 기준으로 움직이고, 화면 기반 방식은 보이는 위치와 상태를 해석한다. API 권한, 웹 요소 접근, 화면·세션 접근은 각각 확인해야 한다. 어떤 방식도 업무 권한을 자동으로 부여하지 않는다.
가상 사례: 목록을 파일로 저장하기
가상의 작업은 공개 AI 도구 목록 10개를 표 파일로 저장하는 것이다. 클릭이 성공했다는 도구 응답만으로 완료 처리하지 않는다. 파일이 존재하는지, 10개 항목이 들어 있는지, 같은 항목을 중복 저장하지 않았는지, 요구한 열과 원문 주소가 있는지를 확인한다.
화면이 바뀌었거나 팝업이 나타났다면 이전 좌표를 반복해서 누르기 전에 현재 상태를 다시 읽는다. 이미 저장됐는지 모르는 상황에서는 결과 파일부터 확인한다. 작업 식별자와 저장 위치는 Data Provenance와 연결할 수 있다.
실행 환경과 외부 입력
공식 컴퓨터 사용 문서의 보안 고려사항 ↗은 제한된 실행 환경과 민감 정보·네트워크 노출 관리 등을 설명한다.[1] 웹페이지와 이미지에 있는 지시는 Prompt Injection의 입력 경로가 될 수 있다. 실제 실행 권한은 애플리케이션에서 제한하고 AI Agent Oversight에서 검토할 결과를 남긴다. 구체적인 도구 버전과 제공 조건은 최신 문서로 확인한다.
계산 예제: 클릭 성공률과 업무 성공률
가상 실험의 10개 업무 중 올바른 결과 8개, 잘못 저장된 결과 1개, 미완료 1개라면 업무 성공률은 8/10=80%다. 총 100번의 화면 동작 중 95번이 정상 응답했다고 해서 업무 성공률이 95%가 되는 것은 아니다. 시간·재시도·오류의 분모를 각각 남긴다. 이 숫자는 제품 비교 자료가 아니다.
연구에서는 무엇을 검증하는가
WebArena ↗는 재현 가능한 웹 환경에서 실제 목표를 달성했는지 기능적으로 평가한다.[2] 원문의 §3.2는 표면적인 행동 순서 일치와 결과 검증을 구별하는 데 도움이 된다. 웹 환경의 평가 결과를 모든 데스크톱 앱의 성능으로 일반화할 수 없으며 현재 모델 순위도 이 문서에서 주장하지 않는다.