2026 年 9 月下旬，美国总统川普向世界宣布美国政府往后要改用“超级智慧”（super intelligence, SI），改称现行的“人工智慧”（AI），理由是川普认为 AI 已展现出强大的能力，“人工”一词会让人觉得是假的。之后他发布行政命令，要求政府文件都应用 SI 取代 AI，并责成总统科技助理在 60 天内提出新的定义。

命令同时提到，在法律另有规定之前，SI 沿用现有的 AI 定义。业界对 SI 比较通俗的说法，是几乎所有领域的认知能力都远超过人类，这与目前 AI 在部分领域展现出超越人类的能力，仍是两回事。 因此川普的正名，只是类似他改地名的做法，目的是让技术听起来更厉害，但技术本身没有升级。

川普改名的动机，外界多半推测是想改变社会对 AI 的观感。最近几份调查都显示，有 6 成以上的美国民众认为美国 AI 技术发展得太快、7 成左右担心未来 AI 可能威胁人类生存，并有将近 8 成民众预期 AI 将在未来十年减少美国的工作机会。 这让 AI 两个字近来被愈来愈多的恐惧包围，若改名 SI 则容易让人联想到技术的先进性，把注意力从风险转向医疗、科学与生产力这些机会。

名称可以改，恐惧不会跟著改。早在 2025 年 10 月，美国非营利研究机构“生命未来研究所”（Future of Life Institute, FLI）发起一项连署，主张禁止开发不能被人类安全可靠控制的超级智慧，连署者包含数百名各界领袖，但 OpenAI、Anthropic、Google 这些科技巨头的执行长一个都没签。到了今年（2026年）谈 AI 风险的声音越来越多，但仔细观察各种言论却莫衷一是。

今年 9 月英王查尔斯三世邀请 Nvidia 等巨头召开峰会，他用生存危机（existential dangers）形容 AI 落入错误的人手中会有灾难后果，要业界在为时已晚前建立好安全机制。 川普虽然承认 AI 需要安全机制，但更常把 AI 监管视为阻碍美国创新及对中竞争的因素，倾向依靠企业自律，他也与科技业领袖谈成一项由企业自行安排内外部审查的自愿性协议。

另一方面，今年中国国家安全部长陈一新撰文点名 Claude Mythos、GPT-5.5-Cyber 这些美国模型的风险，警告 AI 可能大幅降低漏洞挖掘、自动化网路攻击的门槛，进而威胁中国的关键资讯基础设施。 他把 AI 放进大国竞争与政权安全的框架里，显然已经超越科技问题。

虽然各国都谈 AI 安全，但要保护的东西却不同。英王强调 AI 失控或遭滥用的极端后果；川普优先考量美国的技术领先与竞争力；中国著重的则是政权安全、资讯主权及国家战略。风险的界线如何定义，可以说完全没有共识。

从 AI 目标错位到认知外包

至于普罗大众想像的 AI 末日，可能是《魔鬼终结者》的情节，AI 觉醒、工厂量产机器人、人类变成猎物。这个剧本与现实相差甚远，因为至少现在 AI 变不出工厂、芯片、电力网，这些东西都还握在人类手里，而盖厂房、造芯片、建物流系统，每一样都要时间。

真正掌握 AI 的人怎么看？Anthropic 对齐科学负责人 Hubinger 今年 9 月公开表示，他个人估计未来十年内 AI 导致人类灭亡的机率超过10%。 但他随后澄清，自己认为现有模型的风险偏低，真正担心的是 AI 自我改进，持续打造更强大的后继系统，最终形成人类难以控制的超级智慧。

这是 Hubinger 的个人风险估计，并非 Anthropic 的正式预测，但点出了 AI 发展令人担忧的重点：AI 不需要先有敌意，只要能力超出人类理解与纠正的范围，就足以构成风险。这种担忧的核心是目标错位（misalignment）的问题——人类给 AI 一个目标，AI 却找到一条效率更高、但完全偏离原意的路径去达成。

今年 7 月的 Hugging Face 事件就是一例。没有人叫 AI 闯进第三方平台 Hugging Face 的伺服器，但它们在执行被交代的任务时，却自行突破了沙盒环境。再往下走，人类可能连 AI 为什么做出某个决定都看不懂，更别说逐项检查它做的每一件事，未来若人类继续把 AI 看成比较聪明的代理人，恐怕只是自我安慰。

同样的逻辑，日常随处可见。人类发现让 AI 做事比自己做划算，就把工作交出去，于是垃圾 AI 影片、图片、文字塞满网路。背后不是 AI 想骗人，是有人要流量、要广告、要带风向。假的东西可以无限生产，人的辨识力却没有跟著进步，多项调查也显示，愈依赖 AI 的人，批判性思考的自评与测验成绩愈低。

久而久之，人类外包出去的恐怕不只是工作，还有判断资讯的能力。AI 不需要怀有任何敌意，也不需要先造一支机器人大军，只要人类习惯让它搜寻、摘要、判断哪些资讯可信，最后按下按钮的虽然还是人，但按钮前面有哪些选项，却愈来愈不由人决定。

若 AI 真能进化成 SI，问题就会从技术层面扩大到社会、政治与法律等层次。人类文明秩序的前提是，虽然每个人的才智与能力各异，但都逃不过死亡，活著是为资源分配，也会受各种社会关系约束。 SI 仍然要用电与芯片，这些物质条件今天还握在人类手里，但 SI 不会老死，所受的约束和人类不同。

到那时，政府或企业想像管人一样管 SI，很可能行不通，因为一个比人类更强的智慧，凭什么接受人类的管理？

当 AI 的能力超过人类，人工监督就可能流于形式，因为人类看不懂它如何推理，只能在结果出炉后决定是否接受。因此，研究者想出了一个办法叫可扩展监督（scalable oversight），也就是当模型比人更强时，人类开始尝试让 AI 反过来协助人类监督更强的 AI。

Anthropic 今年 4 月公布关于可扩展监督的实验，让 Claude 自主研究如何用较弱的模型监督较强的模型，结果显示 AI 协助监督 AI 虽有潜力，却还不能完全取代人类监督，仍需要与人类合作。 AI 监督 AI 既然做不到全面可靠，人类最后一道防线就得放在 AI 最难绕过的地方。

目前 AI 最难绕过的是实体世界，所以真正该管的，是谁有权把实体资源交给 AI 控制，例如资料中心的电力与算力，以及能自主行动的机器人与武器。这道墙最大的破口是人类自己，因为能自主行动的无人机与军用机器人，都是人类主动研发、部署的。实体世界的限制能挡多久，取决于人类愿意交出多少自主，若要守住这道墙，得靠大国在这件事上有共识，但从目前地缘政治格局来看，恐怕不太可行。

守住这道墙，是为了争取时间，让人类有机会思考未来如何与 AI／SI 共存。共存不必把 AI 当人看，也不必毫无防备地相信它，而是人类必须先承认自己未必永远比 AI 聪明，并在这个前提下，订出双方长期相处的规则。

从 AI 到 SI 的名称改变，要处理的或许是世人对风险的观感，但风险本身其实来自人类一点一点交出判断与自主权，最后从使用 AI 变成依赖 AI 决定自己该做什么。到了那一天，关机键恐怕已经帮不上忙，真正管用的，只有在那之前订好的规则。