AI Tools5분 읽기

vercel-labs/agent-desktop: AI 에이전트가 데스크톱을 직접 조작한다

Vercel Labs가 2026년 10월 공개한 오픈소스 CLI. 스크린샷 없이 OS 접근성 트리로 데스크톱 앱을 읽고 조작하는 방법을 1차 자료 기반으로 정리했습니다.

#AI 에이전트#Vercel Labs#오픈소스#데스크톱 자동화#접근성 트리#CLI#Computer Use
vercel-labs/agent-desktop: AI 에이전트가 데스크톱을 직접 조작한다

TL;DR agent-desktop은 Vercel Labs가 2026년 10월 28일 Apache-2.0으로 공개한 npm CLI입니다. 픽셀 매칭이나 스크린샷 없이 OS 접근성 트리(macOS AX API · Windows UI Automation · Linux AT-SPI)를 읽어 AI 에이전트가 데스크톱 앱을 직접 조작할 수 있게 합니다. 모델은 내장되어 있지 않으며, Claude Code · Codex · Cursor 등 셸을 실행할 수 있는 에이전트라면 모두 연동됩니다.

왜 접근성 트리인가

기존 Computer Use 방식의 대다수는 화면을 캡처한 뒤 모델이 클릭 좌표를 추론하는 흐름입니다. 해상도 변화나 UI 렌더링 타이밍에 취약하고, 에이전트가 "지금 버튼이 활성화 상태인가"를 알려면 다시 스크린샷을 찍어야 합니다.

agent-desktop은 다른 레이어를 사용합니다. macOS의 AX API, Windows의 UI Automation, Linux의 AT-SPI — 각 OS가 보조 기술(스크린 리더 등)을 위해 이미 제공하는 접근성 트리를 읽습니다. 덕분에 에이전트는 "화면에 무엇이 보이는가"가 아니라 "앱이 어떤 요소를 노출하는가"를 JSON으로 받습니다. 각 요소에는 ref가 부여되어, 에이전트는 좌표 대신 ref로 클릭·타이핑을 지시합니다.

공식 FAQ는 "agent-desktop 내부에는 모델이 없다"고 명시합니다. CLI와 C 라이브러리는 도구(tool)일 뿐이고, 모델 비용은 사용자가 이미 쓰는 에이전트나 API에서 발생합니다.

릴리스 및 지원 환경

  • v1.0.0: 2026년 10월 28일 첫 출시
  • v1.0.2: 2026년 10월 30일
  • 라이선스: Apache-2.0
  • 구현: Rust CLI + C 라이브러리

지원 OS는 다음과 같습니다.

OS최소 버전아키텍처
macOS13 이상x64, ARM64
Windows10 빌드 1809 이상 (Server 2019+ 포함)x64, ARM64
Ubuntu24.04 이상x64, ARM64

Linux에서 키보드 커맨드는 X11 또는 GNOME에 의존합니다. held-key/held-mouse 계열 4개 커맨드는 데몬이 안정적으로 입력을 해제할 수 있을 때까지 의도적으로 비활성화 상태입니다.

설치부터 첫 스냅샷까지

# 1. 전역 설치
npm install -g agent-desktop

# 2. macOS: 접근성 권한 안내
agent-desktop permissions --guide

# 3. Finder 상태 스냅샷 (대화형 모드)
agent-desktop snapshot --app Finder -i

스냅샷 결과는 JSON으로 반환됩니다. 각 UI 요소에는 ref가 붙어 있고, 에이전트는 그 ref로 클릭을 지시합니다.

# 4. ref로 요소 클릭 (예: e8 요소)
agent-desktop click @<snapshot>:e8

# 5. 클릭 후 다시 스냅샷으로 상태 확인
agent-desktop snapshot --app Finder -i

이 snapshot → act → snapshot 루프가 agent-desktop의 기본 작동 방식입니다. CLI 전체에는 60개의 커맨드 이름, 56개의 운영 커맨드가 포함되어 있습니다.

코딩 에이전트와 연동하기

셸을 실행할 수 있는 에이전트라면 별도 SDK 없이 agent-desktop 명령을 그대로 호출할 수 있습니다. Claude Code, Codex, Cursor가 공식 문서에서 언급됩니다.

에이전트에게 사용법을 가르치는 방법은 두 가지입니다.

# 방법 A: skills CLI로 스킬 등록
npx skills add https://github.com/vercel-labs/agent-desktop --skill agent-desktop

# 방법 B: 에이전트에게 직접 지시
# "먼저 `agent-desktop skills get desktop`을 실행하세요"

플랫폼별 주의사항(macOS 권한 요구, Linux 키보드 제약 등)은 agent-desktop skills get platform으로 확인할 수 있습니다.

아키텍처 한눈에 보기

[AI 에이전트 (Claude Code / Codex / Cursor)]
        │  셸 커맨드
        ▼
[agent-desktop CLI]
        │
[agent-desktop-core + PlatformAdapter 트레이트]
        │
   ┌────┴────────────────┐
   │                     │
[macOS: AX API]  [Windows: UI Automation]  [Linux: AT-SPI]

플랫폼 추상화는 Rust의 트레이트 기반으로 설계되어, 각 OS의 접근성 API 차이를 agent-desktop-core 위에서 통일된 인터페이스로 노출합니다.

주의해야 할 한계

프라이버시: 공식 README는 "스냅샷, 클립보드 읽기, 스크린샷, 커맨드 출력, 디버그 아티팩트가 사적인 데스크톱 콘텐츠를 포함할 수 있다"고 직접 경고합니다. 에이전트에게 넘기는 데이터에 민감한 정보가 포함될 수 있으므로, 사내 도구 자동화에 도입할 때는 데이터 흐름을 먼저 검토해야 합니다.

웹 자동화 불포함: agent-desktop은 웹 페이지를 자동화하지 않습니다. 웹 자동화는 별도의 agent-browser를 사용해야 합니다.

작업 성공률 미공개: 공식 저장소는 데스크톱 앱 전반에 걸친 범용 작업 성공률 수치를 제시하지 않습니다. 실 환경에서의 신뢰도는 대상 앱이 접근성 트리를 얼마나 잘 노출하느냐에 따라 달라집니다.

발표 맥락

2026년 10월 31일, Vercel Labs의 Chris Tate(@ctatedev)는 agent-desktop을 "agent-browser, for your whole computer"로 소개했고, Vercel CEO Guillermo Rauch는 "An agent on every desktop"이라며 공유했습니다.

Vercel Labs X 계정의 10월 출시 요약에는 "95개 릴리스, 730개 이슈 클로즈, 3,500+ PR 병합"과 함께 agent-desktop과 tsc-ts(TypeScript 7 컴파일러)가 주요 출시물로 명시되어 있습니다.

GitHub 스타 수는 출처마다 집계 방식과 기준 시점이 달라 단순 비교가 어렵습니다. 2026-11-02 coddykit.com 관측 기준 8,402★(590 forks), 2026-11-05 agents-radar 보고서 기준 2,470★로 기록되어 있습니다.

정리

vercel-labs/agent-desktop은 AI 에이전트가 데스크톱 앱을 다루는 방식에 접근성 트리라는 새 레이어를 제시합니다. 모델을 내장하지 않아 기존 에이전트 워크플로에 CLI 한 줄로 붙일 수 있고, Apache-2.0이라 상업적 활용에도 열려 있습니다. 다만 프라이버시 경고와 Linux 미완성 커맨드, 그리고 앱별 접근성 트리 품질에 따른 한계는 프로덕션 도입 전에 반드시 확인해야 할 사항입니다.

참고 자료

커버 이미지: Sumaiya Yeasmin, Mst Masuma Akter Semi, Moustaq Karim Khan Rony, Srabani Das, Anseena Anees Sabeena, Rukshanda Rahman, Barna Biswas, Fahad Ahmed, and Adib Hossain · CC BY 4.0. 자료 이미지이며 제품 화면은 아닙니다. 크기 조정 및 WebP 변환.

공유하기Twitter / X