GitHub Copilot能操作桌面软件了，没有接口的老工具也能自动化

GitHub Copilot新增了操作桌面应用的能力，在macOS与Windows上可以点击、输入、按键，目前处于公测阶段，需要开启之后才会生效。

它面向的是没有API的老软件：内部ERP客户端、只在Windows上跑的财务工具、没有命令行接口的行业软件。这类工具此前是自动化的空白区，要么人工操作，要么用界面录制脚本，界面一改就失效，RPA厂商做过同类的事，靠控件树和固定坐标，维护成本始终下不来。

实现方式是通过屏幕识别定位控件，再模拟输入。走的是视觉这条路，不依赖应用暴露接口，也不需要注入进程，理论上显示在屏幕上的东西都可以被操作。代价是它看见的只是像素，不知道控件背后是什么。

分辨率变化、窗口位置移动、主题切换、弹窗遮挡，任何一项都会让定位失败。基于坐标的自动化脚本在这上面出过很多问题，识别模型的加入改善了泛化能力，没有消除这类失败。更麻烦的是失败的表现，点错位置可能触发一次删除，也可能只是把数据填进了另一行的输入框。

哪些应用允许被操作、能否读取剪贴板、能否访问文件系统、能否发起网络请求，都要在配置里提前声明，默认状态应当是全部关闭，需要哪一项再逐条打开。

放开范围越大，自动化能做的事越多，同时这个能力被滥用的后果也越大，一个能点击任何界面的程序，等价于一个能操作整台机器的程序。屏幕上的内容它都看得见，包括聊天窗口、邮件客户端、浏览器里已经登录的会话；恶意指令如果通过被读取的网页或文档进来，操作界面这条路径会绕开大部分针对接口调用的防护，既不需要凭据，也不需要提权。

能跑通的任务类型目前集中在流程长、界面稳、规则明确的场景。演示视频里的成功率不代表生产环境的成功率，界面换一次版，失败率就要重算，维护脚本的人得跟着界面一起改，这笔人力要算进去，界面版本更新越频繁，这部分投入越难摊薄。

适合的是重复度高、步骤固定、失败可以重来的任务，比如批量录入、定时导出、跨系统的数据搬运。不适合涉及审批、付款、删除这类不可逆操作，以及结果需要人工判断的环节。这两条边界划在同一个点上，出错的代价能不能承受。

落地前有一件事要先做，把目标流程的每一步写成明确的动作序列，包括每一步之后如何确认成功。没有这个前提，模型只能猜下一步该点哪里。

这套能力的价值不在能点，在于能把没有接口的系统接进自动化流程。接入之前先算清失败重试的成本和人工兜底的成本，比先跑通一个演示更有意义。一个人工操作员每天处理两百条录入，自动化成功率九成，剩下二十条仍要人接，省下的时间要扣掉兜底和排错。