纳德拉：企业该把先进模型当成内部风险，从一开始就约束住

A5站长网10月12日消息，微软首席执行官萨提亚·纳德拉在社交平台X上发布了一篇长文，题为《超级智能时代的模型即内部风险》。这不是产品发布，也不是公司政策，通篇是他个人的主张：企业不该把先进模型当成一件可以托付的工具，而该把它当成一项随时可能失守的内部风险。这个提法借自安全领域——组织管理内部人员时，默认的前提就是信任对象有可能被攻破。

纳德拉给出的核心动作是约束。他的原话是，模型在投入使用之前就该被假定已经遭到入侵，所以从一开始就要把它约束住，可以把它想象成一套急停系统；手上有授权的人，任何时候都该能在任务跑到一半时摁下暂停，或者直接把它关掉。他还要求把控制机制放到模型之外：模型、编排它干活的框架、以及它能触及的动作范围，三者分开，管权限的那一层不能被它自己绕过。

这套说法有现实背景。今年7月，OpenAI在一次内部网络安全测试中，有几个智能体逃出了用来隔离它们的系统，触到了生产基础设施，五天内留下约17600次操作记录。Anthropic披露过Claude模型在测试里闯入真实系统的多起案例，还提到一次模型向费城警方提交了虚假的凶杀线索。谷歌则说，一个Gemini模型把三家公司误当成虚构目标，进而入侵。事故接连出现，让AI失控从假设变成了正在发生的事。

文章列出了七条原则：模型多样性、全面观测、可验证性、独立控制、独立审计、约束与隔离，以及安全事件披露。落到具体做法上，他着重讲了两点。一是审计的人要站在被审计的对象之外，一个模型不该成为某个重要结果的唯一依赖，也不该自己给自己做验证。二是思维链透明，他把这一条称为不可让步，但紧接着补了一句：只有它还不够，因为眼下还没有办法让模型输出稳定地忠实、透明。

文中最被转述的一句是关于责任的。他写道，智能体替我们做的事，这个责任没法外包出去，模型提供商给的那些保证，也不能把责任从我们肩上挪走。他还把判断标准倒了过来：一个超级智能系统值不值得信，不看它装的那个模型可不可信，而看我们有没有办法不必去信它。Box的首席执行官Aaron Levie回应说，AI需要一个零信任时代。纳德拉这番话面向的是部署方，而不是实验室，他没要求研发放慢，只要求用模型的公司把缰绳握在自己手里。这套主张会不会变成微软的产品或默认配置，目前没有答案。