Claude Code Computer Use: 터미널에서 시작해 Mac 전체를 제어하는 AI 에이전트

Anthropic이 2026년 3월 23일, Claude Code CLI에서 macOS 화면을 직접 제어하는 computer use 기능을 research preview로 출시했습니다. Claude가 앱을 열고, 클릭하고, 타이핑하고, 스크린샷을 찍는 GUI 작업을 터미널 대화 안에서 자율 수행합니다.
Claude Code Computer Use 공식 문서

배경과 맥락

2026년은 AI 에이전트의 해입니다. 올해 초 OpenClaw가 바이럴을 타면서 "AI가 내 컴퓨터에서 직접 작업한다"는 개념이 대중화됐습니다. Nvidia CEO Jensen Huang은 OpenClaw를 "다음 ChatGPT"라고 평가했고, Nvidia는 기업용 버전인 NemoClaw를 발표했습니다. OpenAI는 OpenClaw 창시자 Peter Steinberger를 영입하며 "차세대 개인 에이전트"를 예고했습니다.

이 흐름 속에서 Perplexity는 Mac mini 기반 클라우드 AI 에이전트 Perplexity Computer를, Meta는 Mac을 AI 에이전트로 전환하는 Manus "My Computer"를 각각 출시했습니다. 9to5Mac이 표현한 대로, "이를 구동하는 Mac mini가 계속 품절"될 정도로 수요가 폭발했습니다.

Anthropic은 이 경쟁에 한 발 늦게 뛰어든 것이 아닙니다. 이미 Claude Code는 터미널 기반 코딩 에이전트로 시장을 리드하고 있었고, computer use 출시 약 1주 전에는 Dispatch를 내놓아 폰에서 Mac으로 작업을 지시하는 파이프라인을 구축했습니다. Computer use는 그 위에 "화면 제어"라는 마지막 퍼즐을 채운 것입니다.

무엇을 할 수 있나

Computer use는 GUI가 필요한 작업, 즉 "터미널을 떠나 직접 손으로 해야 했던 모든 것"을 대상으로 합니다.

네이티브 앱 빌드와 검증: Claude에게 macOS 메뉴바 앱 제작을 요청하면, Swift 코드를 작성하고, 컴파일하고, 앱을 실행한 뒤 모든 컨트롤을 클릭해서 정상 동작을 확인합니다. 코드 작성부터 UI 검증까지 하나의 대화에서 완료됩니다.

엔드투엔드 UI 테스트: 로컬 Electron 앱의 온보딩 플로우를 테스트해달라고 하면, Claude가 앱을 열고 가입 과정을 클릭하며 각 단계를 스크린샷으로 남깁니다. Playwright 설정이나 테스트 하네스 없이도 가능합니다.

시각적/레이아웃 버그 디버깅: "좁은 창에서 모달이 잘린다"고 알려주면, Claude가 직접 윈도우 크기를 줄여 버그를 재현하고, 스크린샷을 찍고, CSS를 수정한 뒤 수정 결과를 다시 확인합니다.

GUI 전용 도구 제어: CLI나 API가 없는 디자인 도구, 하드웨어 컨트롤 패널, iOS 시뮬레이터, 독점 소프트웨어 등을 마우스와 키보드로 조작합니다.

어떻게 작동하는가

Claude는 작업에 가장 정밀한 도구부터 시도합니다. 서비스에 MCP 서버가 있으면 그것을 사용하고, 셸 명령이면 Bash를, 브라우저 작업이면 Chrome 확장 프로그램을 씁니다. 이 중 어느 것으로도 해결할 수 없을 때 비로소 computer use가 작동합니다. 작동 중에는 머신 전체 잠금이 걸립니다. 한 번에 하나의 Claude Code 세션만 컴퓨터를 제어할 수 있고, 다른 세션은 잠금이 해제될 때까지 대기해야 합니다.

Claude가 화면 제어를 시작하면, 승인된 앱을 제외한 나머지 앱은 자동으로 숨겨집니다. 터미널 창은 항상 보이지만 스크린샷에서 제외되어 Claude가 자신의 출력을 보는 일은 없습니다. 작업이 끝나면 숨겨진 앱이 자동 복원됩니다.

Computer use는 샌드박스된 Bash 도구와 달리 실제 데스크톱에서 실행됩니다. Anthropic은 이 점을 명확히 인정하면서 5가지 내장 가드레일을 제공합니다.

앱별 승인: 세션마다 Claude가 제어할 앱을 사용자가 개별 승인합니다.
센티넬 경고: 터미널, Finder, 시스템 설정처럼 넓은 접근 권한을 가진 앱은 승인 전에 추가 경고가 표시됩니다.
터미널 스크린샷 제외: Claude는 자신의 터미널 창을 절대 보지 못해, 화면 내 프롬프트가 모델에 피드백되는 것을 차단합니다.
글로벌 Esc 키: 어디서든 Esc를 누르면 computer use가 즉시 중단됩니다. 이 키 입력은 소비되어 프롬프트 인젝션이 대화 상자를 닫는 데 악용할 수 없습니다.
잠금 파일: 동시에 하나의 세션만 머신을 제어합니다.

앱 제어 수준도 카테고리별로 차등 적용됩니다. 브라우저와 트레이딩 플랫폼은 읽기 전용, 터미널과 IDE는 클릭만 가능, 그 외 모든 앱은 전체 제어가 부여됩니다.

다만 Anthropic 스스로도 "이러한 보호 장치가 완벽하지 않으며, Claude가 가끔 이 경계 밖에서 행동할 수 있다"고 인정합니다. 특히 프롬프트 인젝션은 가장 주의해야 할 위험입니다. Claude가 웹사이트 스크린샷을 실시간으로 해석하기 때문에, 방문하는 모든 페이지가 잠재적 공격 표면이 됩니다. 보안 분류기가 인젝션을 감지하면 사용자 확인을 요청하지만, 방어율 100%를 보장하지는 않습니다. Anthropic은 신뢰할 수 없는 웹사이트의 자율 탐색을 피하고, 기밀 데이터 사용을 자제할 것을 권고합니다.

누가 지금 쓸 수 있나

Computer use를 사용하려면 다음 조건을 모두 충족해야 합니다.

조건	세부 사항
플랜	Claude Pro 또는 Max (Team/Enterprise 불가)
OS	macOS 전용 (Linux, Windows 미지원)
버전	Claude Code v2.1.85 이상
인증	claude.ai 직접 인증 (Bedrock, Vertex AI, Foundry 등 서드파티 불가)
세션	인터랙티브 세션 (`-p` 플래그 사용 시 불가)

한계점

Anthropic은 이 기능이 아직 초기 단계임을 솔직히 인정합니다. CNBC 인터뷰에서 "computer use는 Claude의 코딩이나 텍스트 작업 능력 대비 아직 초기"라고 밝혔습니다. 그리고, macOS 전용입니다. Windows와 Linux 사용자는 현재 사용할 수 없습니다.

CLI와 Desktop 앱 간 기능 차이가 있습니다. CLI에서는 차단 앱 목록(Denied apps list) 설정이 불가능하고, 앱 자동 복원(Auto-unhide)은 항상 켜져 있어 끌 수 없으며, Dispatch 통합이 지원되지 않습니다.

서드파티 프로바이더 미지원: Amazon Bedrock, Google Cloud Vertex AI, Microsoft Foundry를 통해 Claude에 접근하는 사용자는 별도의 claude.ai 계정이 필요합니다.

비인터랙티브 모드 불가: -p 플래그로 실행하는 자동화 파이프라인에서는 사용할 수 없습니다.

어떻게 써볼 수 있나

설정은 3단계로 간단합니다.

MCP 메뉴 열기: Claude Code 인터랙티브 세션에서 /mcp 입력 → 서버 목록에서 computer-use를 찾습니다.
서버 활성화: computer-use를 선택하고 Enable. 프로젝트별로 한 번만 하면 됩니다.
macOS 권한 부여: 처음 사용 시 접근성(클릭/타이핑/스크롤)과 화면 녹화(화면 확인) 두 가지 macOS 권한을 허용합니다.

이후 GUI가 필요한 작업을 지시하면 됩니다. 예를 들어:

Build the app target, launch it, and click through each tab to make
sure nothing crashes. Screenshot any error states you find.

왜 중요한가

지금까지 AI 코딩 에이전트는 "코드를 쓰고, 명령을 실행하고, 파일을 수정하는" 텍스트 기반 작업에 머물렀습니다. 네이티브 앱이 제대로 실행되는지, UI 레이아웃이 정상인지 확인하려면 결국 개발자가 직접 눈으로 보고 마우스로 클릭해야 했습니다. Computer use는 이 마지막 공백을 메웁니다.

이 기능은 단순한 편의 개선이 아닙니다. AI 에이전트가 "코드를 넘어 화면 전체로" 작업 영역을 확장하는 전환점입니다. 코드 작성 → 빌드 → 실행 → 시각적 검증까지 하나의 대화에서 끊기지 않는 워크플로우가 가능해졌습니다.

물론 아직 research preview입니다. macOS 전용이고, 프롬프트 인젝션 위험이 존재하며, Anthropic 스스로 "초기 단계"라고 인정합니다. 그러나 OpenClaw, Perplexity Computer, Meta Manus가 동시에 같은 방향으로 달리고 있다는 사실은, "AI가 사용자의 컴퓨터를 직접 조작하는 시대"가 실험이 아니라 산업의 방향이 되고 있음을 보여줍니다.