Skip to main content

Computer Use

Computer use พร้อมใช้งานใน Codex App บน macOS และ Windows ติดตั้ง Computer Use plugin และบน macOS ให้อนุมัติสิทธิ์ Screen Recording และ Accessibility เมื่อได้รับแจ้ง

ด้วย computer use Codex สามารถมองเห็นและใช้งาน graphical user interfaces บน macOS หรือ Windows ใช้สำหรับงานที่ command-line tools หรือ structured integrations ไม่เพียงพอ เช่น ตรวจสอบ desktop app, เปลี่ยน app settings, ทำงานกับ data source ที่ไม่มี plugin หรือทำซ้ำ bug ที่เกิดเฉพาะใน GUI

เนื่องจาก computer use อาจส่งผลต่อ app และ system state นอก project workspace ให้ใช้สำหรับงานที่ scope แคบ และรีวิว permission prompts ก่อนดำเนินการต่อ

ตั้งค่า computer use​

ใน Codex settings เปิด Computer Use และคลิก Install เพื่อติดตั้ง Computer Use plugin ก่อนขอให้ Codex ใช้งาน desktop apps

บน macOS ต้องให้สิทธิ์:

  • Screen Recording เพื่อให้ Codex มองเห็น target app
  • Accessibility เพื่อให้ Codex คลิก, พิมพ์ และ navigate ได้

บน Windows ให้ target app มองเห็นได้บน active desktop ขณะที่งานรัน

เมื่อไรควรใช้ computer use​

เลือก computer use เมื่องานขึ้นอยู่กับ GUI ที่ยากต่อการตรวจสอบผ่านไฟล์หรือ command output เพียงอย่างเดียว

กรณีที่เหมาะสม:

  • ทดสอบ macOS app, Windows app, iOS simulator flow หรือ desktop app อื่น
  • ทำงานที่ต้องใช้ web browser
  • ทำซ้ำ bug ที่ปรากฏเฉพาะใน GUI
  • เปลี่ยน app settings ที่ต้องคลิกผ่าน UI
  • ตรวจสอบข้อมูลใน app หรือ data source ที่ไม่มี plugin
  • รันงาน scope แคบใน background ขณะทำงานอื่นบน macOS

สำหรับ web apps ที่สร้างใน local ให้ใช้ in-app browser ก่อน

Windows foreground use​

บน Windows computer use รันบน active desktop ไม่สามารถทำงานใน background ขณะที่คุณใช้ Windows session เดียวกัน ดังนั้นคาดว่า Codex จะเคลื่อนย้าย pointer, พิมพ์ และ take over foreground ขณะที่งานรัน

เริ่มงาน computer use​

พูดถึง @Computer หรือ @AppName ใน prompt หรือขอให้ Codex ใช้ computer use อธิบาย app, window หรือ flow ที่ Codex ควรใช้งานอย่างชัดเจน

ตัวอย่าง:

Open the app with computer use, reproduce the onboarding bug, and fix the
smallest code path that causes it.
Open @Chrome and verify the checkout page still works after the latest changes.

Permissions และ approvals​

สิทธิ์ system สำหรับ computer use แยกจาก app approvals ใน Codex

บน macOS สิทธิ์ Screen Recording และ Accessibility ให้ Codex มองเห็นและใช้งาน apps App approvals กำหนดว่าคุณ allow apps ใดให้ Codex ใช้

ระหว่างงาน Codex จะขอสิทธิ์ก่อนใช้ app บนคอมพิวเตอร์ คุณสามารถเลือก Always allow เพื่อให้ Codex ใช้ app นั้นในอนาคตโดยไม่ต้องถาม คุณสามารถลบ apps จาก Always allow list ใน Computer Use section ของ Codex settings

กำหนดค่า Windows app policy​

บน Windows Computer Use เก็บ app decisions ถาวรใน $CODEX_HOME/computer-use/config.toml:

[apps]
allowed = ["mspaint.exe"]
denied = ["calc.exe"]

Apps ที่ denied มีความสำคัญกว่า apps ที่ allowed Codex จะถามสำหรับ apps ที่ไม่ปรากฏในรายการใดๆ

Locked use (macOS เท่านั้น)​

Locked computer use ให้ Codex ใช้ Computer Use หลังจาก Mac ล็อก ใช้เมื่องาน Codex ต้องใช้ desktop apps จากอุปกรณ์ที่เชื่อมต่อหลังจาก Mac ล็อก

Locked use มี safeguards:

  • Authorization window มีอายุสั้นและ scope ไว้กับ unlock attempt ปัจจุบัน
  • Automatic unlock พร้อมใช้เฉพาะกับ Codex ระหว่าง active computer use turns
  • Codex ปกคลุมทุก display ขณะที่ desktop ถูก unlock ชั่วคราว
  • หาก Codex ตรวจพบ local keyboard หรือ pointer input จะ relock Mac และหยุด automatic unlock

แนวทาง safety​

ด้วย computer use Codex สามารถดู screen content, ถ่าย screenshots และ interact กับ windows, menus, keyboard input และ clipboard state ใน target app

แนวทางการใช้งานที่ปลอดภัย:

  • ให้ Codex target app หรือ flow ที่ชัดเจนทีละอย่าง
  • คุณสามารถหยุดงานหรือ take over คอมพิวเตอร์ได้ตลอดเวลา
  • เก็บ apps ที่ละเอียดอ่อนไว้ปิดเว้นแต่จำเป็นสำหรับงาน
  • บน Windows คาดว่า Codex จะ take over foreground input ขณะทำงาน ใช้อุปกรณ์รองหรือ VM
  • หลีกเลี่ยงงานที่ต้องใช้ secrets เว้นแต่คุณอยู่ดูแลและอนุมัติทุกขั้นตอน
  • รีวิว app permission prompts ก่อน allow Codex ใช้ app
  • ใช้ Always allow เฉพาะกับ apps ที่คุณไว้วางใจ Codex ให้ใช้โดยอัตโนมัติ
  • อยู่ดูแลสำหรับการตั้งค่าที่เกี่ยวกับ account, security, privacy, network, payment หรือ credentials
  • Cancel งานหาก Codex เริ่ม interact กับ window ผิด

หาก Codex ใช้ browser ของคุณ สามารถ interact กับหน้าเว็บที่คุณล็อกอินอยู่ได้ รีวิว website actions ราวกับคุณทำเอง

ฟีเจอร์นี้ไม่สามารถ automate terminal apps หรือ Codex เอง ไม่สามารถ authenticate เป็น administrator หรืออนุมัติ security และ privacy permission prompts