ให้ Claude ใช้คอมพิวเตอร์จาก CLI
เปิดใช้งาน computer use ใน Claude Code CLI เพื่อให้ Claude เปิดแอป คลิก พิมพ์ และเห็นหน้าจอของคุณบน macOS ทดสอบแอป native, ดีบักปัญหาภาพ และทำงานอัตโนมัติกับเครื่องมือ GUI โดยไม่ต้องออกจาก terminal
หมายเหตุ: Computer use เป็น research preview บน macOS ที่ต้องใช้แผน Pro หรือ Max ไม่สามารถใช้งานได้กับแผน Team หรือ Enterprise ต้องใช้ Claude Code v2.1.85 หรือใหม่กว่า และต้องอยู่ในเซสชันเชิงโต้ตอบ ดังนั้นจึงไม่สามารถใช้ใน non-interactive mode กับ flag -p
Computer use ช่วยให้ Claude เปิดแอป ควบคุมหน้าจอ และทำงานบนเครื่องของคุณในแบบที่คุณทำได้เอง จาก CLI, Claude สามารถ compile แอป Swift, เปิดมัน คลิกผ่านทุกปุ่ม และ screenshot ผล ทั้งหมดในการสนทนาเดียวกับที่มันเขียนโค้ด
หน้านี้ครอบคลุมวิธีการทำงานของ computer use ใน CLI สำหรับแอป Desktop บน macOS หรือ Windows ดูที่ computer use ใน Desktop
สิ่งที่คุณทำได้ด้วย Computer Use
Computer use จัดการงานที่ต้องการ GUI: อะไรก็ตามที่คุณต้องออกจาก terminal แล้วทำด้วยตัวเอง
- Build และ validate แอป native: ขอให้ Claude สร้างแอป macOS menu bar Claude เขียน Swift, compile, เปิดมัน และคลิกผ่านทุกปุ่มควบคุมเพื่อตรวจสอบก่อนที่คุณจะเปิด
- End-to-end UI testing: ชี้ Claude ไปที่แอป Electron ท้องถิ่นและบอกว่า "test the onboarding flow" Claude เปิดแอป คลิกผ่านการลงทะเบียน และ screenshot แต่ละขั้นตอน
- ดีบักปัญหาภาพและ layout: บอก Claude "the modal is clipping on small windows" Claude ปรับขนาดหน้าต่าง reproduce บัก screenshot มัน แก้ CSS และตรวจสอบการแก้ไข
- ขับเคลื่อนเครื่องมือ GUI เท่านั้น: โต้ตอบกับเครื่องมือออกแบบ control panels ฮาร์ดแวร์ iOS Simulator หรือแอปที่ไม่มี CLI หรือ API
เมื่อไหร่ที่ Computer Use ถูกใช้
Claude มีหลายวิธีในการโต้ตอบกับแอปหรือบริการ Computer use กว้างที่สุดและช้าที่สุด ดังนั้น Claude จึงลองเครื่องมือที่แม่นยำที่สุดก่อน:
- ถ้ามี MCP server สำหรับบริการ Claude จะใช้นั้น
- ถ้างานเป็น shell command Claude จะใช้ Bash
- ถ้างานเป็นงานเบราว์เซอร์และมีการตั้งค่า Claude in Chrome ไว้ Claude จะใช้นั้น
- ถ้าไม่มีสิ่งใดข้างต้น Claude จะใช้ computer use
การควบคุมหน้าจอสงวนไว้สำหรับสิ่งที่ไม่มีอย่างอื่นเข้าถึงได้: แอป native, simulators, และเครื่องมือที่ไม่มี API
เปิดใช้งาน Computer Use
Computer use สามารถใช้งานได้ในฐานะ MCP server ในตัวชื่อ computer-use ปิดใช้งานโดยค่าเริ่มต้นจนกว่าคุณจะเปิดใช้งาน
- เปิดเมนู MCP ในเซสชัน Claude Code เชิงโต้ตอบ รัน:
/mcp
ค้นหา computer-use ในรายการเซิร์ฟเวอร์ แสดงว่าปิดใช้งาน
-
เปิดใช้งานเซิร์ฟเวอร์ เลือก
computer-useและเลือก Enable การตั้งค่านี้คงอยู่ต่อโปรเจกต์ ดังนั้นคุณทำครั้งเดียวสำหรับแต่ละโปรเจกต์ที่ต้องการ computer use -
ให้สิทธิ์ macOS ครั้งแรกที่ Claude พยายามใช้คอมพิวเตอร์ของคุณ จะมี prompt ให้สิทธิ์ macOS สองรายการ:
- Accessibility: ช่วยให้ Claude คลิก พิมพ์ และเลื่อน
- Screen Recording: ช่วยให้ Claude เห็นสิ่งที่อยู่บนหน้าจอของคุณ
หลังจากตั้งค่าแล้ว ขอให้ Claude ทำอะไรที่ต้องการ GUI:
Build the app target, launch it, and click through each tab to make
sure nothing crashes. Screenshot any error states you find.
อนุมัติแอปต่อเซสชัน
การเปิดใช้งานเซิร์ฟเวอร์ computer-use ไม่ได้ให้สิทธิ์ Claude เข้าถึงทุกแอปบนเครื่องของคุณ ครั้งแรกที่ Claude ต้องการแอปเฉพาะในเซสชัน จะมี prompt ใน terminal แสดง:
- แอปที่ Claude ต้องการควบคุม
- สิทธิ์พิเศษใดๆ ที่ขอ เช่น การเข้าถึง clipboard
- แอปอื่นๆ ที่จะถูกซ่อนในขณะที่ Claude ทำงาน
แอปที่มีขอบเขตกว้างแสดงคำเตือนพิเศษใน prompt:
| คำเตือน | ใช้กับ |
|---|---|
| Equivalent to shell access | Terminal, iTerm, VS Code, Warp และ terminal และ IDE อื่นๆ |
| Can read or write any file | Finder |
| Can change system settings | System Settings |
ระดับการควบคุมของ Claude ยังแตกต่างกันตามประเภทแอป: เบราว์เซอร์และแพลตฟอร์มการเทรดเป็นแบบ view-only, terminal และ IDE เป็น click-only, และอื่นๆ ทั้งหมดได้รับการควบคุมเต็มรูปแบบ
วิธีที่ Claude ทำงานบนหน้าจอของคุณ
หนึ่งเซสชันต่อครั้ง
Computer use ถือ machine-wide lock ในขณะที่ใช้งาน ถ้าเซสชัน Claude Code อื่นใช้คอมพิวเตอร์ของคุณอยู่แล้ว การพยายามใหม่จะล้มเหลว
แอปถูกซ่อนในขณะที่ Claude ทำงาน
เมื่อ Claude เริ่มควบคุมหน้าจอของคุณ แอปที่มองเห็นอื่นๆ จะถูกซ่อน เพื่อให้ Claude โต้ตอบกับแอปที่อนุมัติเท่านั้น
Screenshots ถูกย่อขนาดโดยอัตโนมัติ
Claude Code ย่อขนาดทุก screenshot ก่อนส่งไปยังโมเดล คุณไม่ต้องลดความละเอียดจอแสดงผล MacBook Pro 16 นิ้วที่ความละเอียด native Retina จับภาพที่ 3456×2234 และย่อขนาดเป็นประมาณ 1372×887
หยุดได้ตลอดเวลา
เมื่อ Claude ได้รับ lock การแจ้งเตือน macOS จะปรากฏ: "Claude is using your computer · press Esc to stop" กด Esc ที่ใดก็ได้เพื่อยกเลิกการดำเนินการปัจจุบันทันที หรือกด Ctrl+C ใน terminal
ความปลอดภัยและ Trust Boundary
คำเตือน: Computer use รันบน desktop จริงของคุณพร้อมการเข้าถึงแอปที่คุณอนุมัติ
กลไกป้องกันที่มีอยู่:
- การอนุมัติต่อแอป: Claude สามารถควบคุมเฉพาะแอปที่คุณอนุมัติในเซสชันปัจจุบัน
- คำเตือน Sentinel: แอปที่ให้สิทธิ์ shell, filesystem, หรือการตั้งค่าระบบถูกตั้งค่าสถานะก่อนที่คุณจะอนุมัติ
- Terminal ถูกยกเว้นจาก screenshots: Claude ไม่เห็นหน้าต่าง terminal ของคุณ
- Global escape: ปุ่ม
Escยกเลิก computer use จากทุกที่ - Lock file: มีเพียงเซสชันเดียวที่สามารถควบคุมเครื่องของคุณได้ในแต่ละครั้ง
ตัวอย่าง Workflow
Validate Build แบบ Native
Build the MenuBarStats target, launch it, open the preferences window,
and verify the interval slider updates the label. Screenshot the
preferences window when you're done.
Reproduce Layout Bug
The settings modal clips its footer on narrow windows. Resize the app
window down until you can reproduce it, screenshot the clipped state,
then check the CSS for the modal container.
Test Simulator Flow
Open the iOS Simulator, launch the app, tap through the onboarding
screens, and tell me if any screen takes more than a second to load.
ความแตกต่างจากแอป Desktop
| ฟีเจอร์ | Desktop | CLI |
|---|---|---|
| Platforms | macOS และ Windows | macOS เท่านั้น |
| เปิดใช้งาน | สลับใน Settings > General | เปิดใช้งาน computer-use ใน /mcp |
| รายการแอปที่ปฏิเสธ | กำหนดค่าได้ใน Settings | ยังไม่สามารถใช้งานได้ |
Troubleshooting
"Computer use is in use by another Claude session"
เซสชัน Claude Code อื่นถือ lock อยู่ ทำงานในเซสชันนั้นให้เสร็จหรือออกจาก
macOS permissions prompt ปรากฏซ้ำ
macOS บางครั้งต้องการการ restart ของ process ที่ขอหลังจากให้สิทธิ์ Screen Recording ออก Claude Code ทั้งหมดและเริ่มเซสชันใหม่
computer-use ไม่ปรากฏใน /mcp
ตรวจสอบว่า:
- คุณอยู่บน macOS (ไม่สามารถใช้งานได้บน Linux หรือ Windows)
- รัน Claude Code v2.1.85 หรือใหม่กว่า รัน
claude --versionเพื่อตรวจสอบ - อยู่ในแผน Pro หรือ Max รัน
/statusเพื่อยืนยัน subscription - ตรวจสอบสิทธิ์ผ่าน claude.ai ไม่สามารถใช้งานได้กับ providers บุคคลที่สาม
- อยู่ในเซสชันเชิงโต้ตอบ ไม่สามารถใช้งานได้ใน non-interactive mode กับ flag
-p