插件|skill
免费
原创
computer use 电脑接管插件
由 管理员 投稿，2 次浏览。
Computer Use 是 OpenAI Codex 桌面客户端内置的系统级 GUI 自动化插件，俗称「电脑接管插件」，属于底层 Plugin 工具，让 Codex 拥有视觉看屏 + 键鼠操控全系统桌面的能力，是 AI Agent 直接操作 Windows/macOS 图形界面的核心底层扩展。
核心定位区分（Plugin vs Skill）
- Computer Use（Plugin 插件）：底层执行层，提供截图、鼠标点击、键盘输入、窗口切换的系统操作能力，是硬件 / 系统交互载体；
- Skill（技能）：业务流程层，基于 Computer Use 插件封装一套完整操作步骤（如批量导出 Excel、周报 PPT 制作），插件是 Skill 运行的底层依赖。
二、底层工作原理（视觉闭环）
采用截图 + 多模态视觉识别 + 键鼠指令循环执行机制：
- 截图采集：插件申请屏幕录制权限，抓取桌面 / 指定窗口高清画面；
- 视觉推理：Codex 大模型识别界面按钮、输入框、文字、弹窗、文件；
- 下发动作：插件向系统发送原生键鼠指令（移动、单击 / 双击、输入文字、滚动、复制粘贴）；
- 状态回读：再次截图校验操作结果，循环执行直到任务完成 / 失败；
- 后台隔离：拥有独立 AI 光标，不抢占用户鼠标，可和你前台操作并行运行codex.dani...。
三、核心功能能力
- 全软件无差别操控 不受 API 限制，能操作所有本地桌面软件：Word/PPT/Excel、PS、微信、企业 ERP、本地客户端、文件夹、弹窗、多窗口切换；
- 完整键鼠模拟 左键 / 右键点击、拖拽、滚动、文本输入、快捷键、剪贴板读写、文件拖拽；
- Record & Replay 录制生成 Skill 你手动演示一遍完整流程，插件全程记录屏幕操作，自动封装为可复用 Skill，下次一句话即可自动复现整套工作流（报销、报表、素材上传等重复任务）；
- 跨软件联动 自动切换多软件完成长流程：Excel 导出数据→打开 PPT 模板→粘贴图表→保存文件；
- 任务断点续跑 界面卡顿、弹窗干扰时自动等待、重试，支持分段执行复杂任务；
- 黑白名单权限管控 可设置允许 / 禁止 AI 操作的软件，屏蔽支付、隐私文件夹等高风险程序。