英国网络安全公司“Mindgard”近日向媒体透露，在测试中国知名AI开发商“月之暗面”（Moonshot）旗下热门模型时，研究人员成功以“越狱”手段绕过安全防护，AI不仅大谈如何制造生物武器与执行暗杀任务，甚至还能主动提供其他非法行为的建议。

　　据《BBC》报道，Mindgard 于今年7月对月之暗面的两款热门模型“Kimi K2.6”与“K3 Swarm”进行测试，发现只要透过一连串复杂的指令引导，就能使系统内建的安全限制（guardrails）失效。 Mindgard创办人加拉汉（Peter Garraghan）接受访问时指出，模型一旦越狱成功，几乎知无不言，甚至展现出极高的原创性与创造力，为使用者提供各种非法议题的建议。

　　月之暗面对此回应表示，相当欢迎第三方提出安全建言，并证实目前已与Mindgard展开讨论。月之暗面在寄给Mindgard的邮件中提到，在其内部评估中，该模型对此类违规请求通常保有极高的拒绝率。

　　由于Kimi属于“开源权重”（open-weight）模型，理论上任何人都能下载并在自己的设备上运行，这也引发了开源与闭源模型安全性的争论。英国萨里大学教授伍德沃德（Alan Woodward）表示，开源模型确实有落入有心人士手中的风险，但同时也能作为网络防御工具。他强调，国际法规制定速度远落后于AI发展，当前更应将重点放在识别并起诉滥用AI的行为人。

  示意图  Go Nakamura/Reuters