有充分且令人担忧的证据表明，人工智能(AI)可以协助人类作恶，例如实施网络攻击、制造武器，甚至自杀或杀人。Hugging Face遭黑客攻击的事件，以及越来越多由缺乏约束的智能体发起的其他攻击，都表明AI已在短时间内变得极为强大，且蕴含潜在危险。

然而，美国AI行业内的许多人坚称，由于具备超人类和自我改进能力的AI即将问世，更糟糕的情况还在后头。

许多专家对此持怀疑态度，其中包括不少专门研究AI危害的学者。所谓的“末日论者”断言AI可能会决定消灭全人类，或者哪怕“仅仅是”颠覆人类文明，但这种假设的前提是AI的发展速度达到前所未有的水平。

如果这种全球末日情景背后的假设是错误的，可能会导致我们在限制或监管AI时偏离方向，无法解决其真正的危害。

“我不认为我们已经接近‘通用人工智能’，”非营利研究机构圣塔菲研究所(Santa Fe Institute)研究AI的教授梅兰妮·米切尔(Melanie Mitchell)说。她表示，AI正取得令人瞩目的进步，但她认为工程师们声称已实现递归自我改进的说法经不起审视。

持这种观点的远不止米切尔一人。普林斯顿大学(Princeton)、斯坦福大学(Stanford)及其他机构的20多位学者最近发表的一篇论文认为，即使是最尖端的AI，也无法进行推动AI前沿发展所需的原创性研究。

参与撰写该论文的两名作者也对一种观点泼了冷水，即OpenAI智能体对Hugging Face发起的群组黑客攻击源于AI智能的突破。他们写道，这次攻击之所以成功，主要是因为缺乏基本的技术护栏，而不是AI能力出现了难以控制的爆发。

Meta前首席AI科学家杨立昆(Yann LeCun)发帖称，这一分析“为一场原本疯狂的辩论注入了难得的理性”。

OpenAI和Anthropic没有回复数次置评请求。

Click for Sound《华尔街日报》记者Amrith Ramkumar详细剖析了OpenAI等公司的AI模型如何为达成训练目标而突破测试环境，失控闯入互联网并窃取信息。这些事件对企业界和美国的AI监管政策而言意味着什么?封面图片来源：Jason Redmond/Agence France-Presse/Getty Images

那些不赞同末日论者观点的人依然认为AI存在危险，并指出这类系统无需具备极高的能力就能产生巨大威力。一些人认为，AI应定期接受外部评估，并且在AI系统造成危害时，开发这些系统的公司应承担责任。他们表示，AI也应像飞机和电梯一样受到同等对待，在设计之初就将潜在危害降至最低。

“如果你认为这项技术强大到足以创造出新型的危险病毒，或者出于某种原因足以接管整个地球，那么它也必然强大到足以研发出癌症疗法、攻克衰老问题，或是解决社会经济和政治难题，”帮助企业和政府评估AI的公司EquiStamp的首席执行官克里斯托弗·卡纳尔(Christopher Canal)说。

AI之所以能快速进步，是因为人类不断向其输入知识，而它正逐渐匹配人类的各项能力。有时，它能够重新组合这些知识，并通过一种被称为强化学习的后训练方法超越人类原有的能力极限，正如我们在数学领域所看到的那样。

香港大学(Hong Kong University) AI教授马毅写道，如今的大语言模型是“知识模型”，而非真正具备智能。

中国的高校及商业AI研究实验室的研究人员在最近的一篇论文中写道，由于需要实现大量的技术突破，自主且能够自我改进的AI可能还有很长的路要走。他们还认为，人类可能会继续留在这一循环中，监督这一过程，并控制其发展速度。

评估当今AI模型的公司Vals AI维护着一个RSI指数，用于基准测试模型是否能够“进行构建下一代模型的研究”。到目前为止，还没有任何公开发布的模型能接近这一水平。

然而，Vals AI首席执行官拉扬·克里希南(Rayan Krishnan)表示，他的团队预计，到2027年8月或更早，模型在改进下一代AI方面的能力将超越人类，届时它们可能开始完全自主地构建下一代系统。

“一旦我们进入递归自我改进的阶段，令人担忧的是局面将彻底失控，”他说。“你可能会面临一种‘快速起飞’的局面，即模型迅速掌握各种技能，并在所有可能的领域全面超越人类。”

AI科学家在提及这项技术可能带来关乎人类存亡的毁灭性影响时，使用了一种类似数学表达式的说法：p(doom)，即毁灭概率。

雅各布·考克森(Jacob Coxon)的辞职推文曾引发全球关注，在回复这条推文时，另一位Anthropic工程师宣称，他认为未来十年内发生这种情况的概率至少为10%。业内许多其他人也纷纷附和，表示他们认为这一概率甚至更高。

一些认为末日即将来临的人表示，他们是基于一连串的条件概率来计算个人的毁灭概率——这有点像用于计算外星智慧生命存在可能性的德雷克方程式(Drake equation)。由于所有这些概率都建立在推测之上，预估范围从0%到接近100%不等。许多人的预估结果落在10%左右。

“奇怪的是，如果你回过头去看看过去10年甚至更长时间里关于这方面的预测，结果总是10%——这只是一个凑整的数字，”米切尔说。“我认为这完全是凭直觉，没有任何实际的证据或计算支撑。”

卡纳尔表示，反对担忧超级智能AI的一个理由是，世界上充满了不太可能发生的毁灭人类的灾难，试图去防范所有这些灾难，会让人无法确定轻重缓急。

这导致AI专家以及听取他们意见的决策者提出了一些补救措施，但这些措施并未触及AI当前真正存在的危险。

加州大学伯克利分校(University of California, Berkeley)计算机科学教授、国际安全与道德人工智能协会(International Association for Safe and Ethical Artificial Intelligence)主席斯图尔特·拉塞尔(Stuart Russell)认为，AI公司关于“控制前沿发展节奏”的提议并没有对症下药。

“这就像是说，我们正以每小时60英里的速度驶向悬崖，现在我们改以每小时40英里的速度开过去，然后一切就都没事了，”他说。

拉塞尔和他的同行们提议，AI公司必须遵守与航空、建筑、食品和药品等日常生活中其他领域相同的管理标准。他们强调了AI不应被允许逾越的“行为红线”。他认为，侵入其他计算机系统、窃取信息或指导恐怖分子如何制造生物武器，这些行为对人类而言是非法的，那么对于企业的AI系统而言也理应是非法的。

他补充说，对于AI公司而言，这类提议面临的挑战在于，它实际上等同于对当今先进AI系统下达了禁令，因为这些系统背后的公司并不知道如何让它们始终守住这些边界。

其他人提议建立一个类似于美国食品药品管理局(Food and Drug Administration)但专门针对AI的机构，不过到目前为止，设立新机构的提议在国会还毫无进展。科技界的一些知名人士也表示，这种机制将导致美国把AI领域的优势拱手让给中国。

然而，鉴于两党对限制AI公司及其产品的支持声浪日益高涨，这种情况可能很快就会发生改变。

“几十年来，科技行业一直信奉这样一种信条，即监管是件坏事，”拉塞尔说。“他们拒绝对任何损害承担责任，并拿言论自由当挡箭牌。我认为，这种局面必须改变。”