有必要在算力爆炸与人性坚守的张力之间，构建内含包容、反思、韧性的智能社会。当前我国AI治理框架初具规模，但在治理理念转变、法律前瞻性、技术防御深度、全球治理协同性等方面仍需强化。

　　“我们现在的情况就像有人把老虎当宠物……要么把它训练好让它不攻击你，要么把它消灭掉。而对于AI，我们没办法把它消灭掉。”在今年7月于上海举办的2025世界人工智能大会上，2024年诺贝尔物理学奖获得者、被誉为“AI教父”的杰弗里·辛顿以“养老虎”比喻人类与AI的关系，提醒当前存在的AI失控风险。

　　无独有偶，近期多位业内学者发出AI失控的警告，认为风险真实存在。专家认为，技术快速迭代导致监管出现“治理真空”，叠加全球协同治理“赤字”和现有安全防护技术不足，增加了AI失控风险。

　　AI失控风险“真实存在”

　　AI究竟有没有失控风险？在不少专业人士看来，答案是肯定的。

　　在2025世界人工智能大会上杰弗里·辛顿表示，AI完全失控的概率在10%到20%。图灵奖得主、加拿大蒙特利尔大学教授约书亚·本吉奥认为，“当前企业之间、国家之间的激烈竞争，正推动AI系统加速演进，而这一过程往往缺乏对潜在后果的充分考量。”这种担扰已转化为行动，辛顿近日与沃兹尼亚克等各界人士联名呼吁暂停超级智能研发。

　　清华大学苏世民书院院长、清华大学人工智能国际治理研究院院长薛澜告诫，即便AI失控的可能性在数值上看似很低，人类社会也绝不能抱着“试试看”的侥幸心态。“一旦系统走向失控，其后果可能不可逆转，须采取审慎的治理策略。”

　　也有观点认为，当前对AI失控的担忧存在夸大之嫌。美国“元”公司首席AI科学家杨立昆表示，“AI将接管世界”的想法，很大程度上是“人类将自身的行为模式投射到了机器上”。他表示，那些担心风险的人往往是因为“尚未找到实现AI安全的可行路径”。

　　尽管存在不同声音，但越来越多的观点认为，AI失控已非科幻想象，而是一个“真实存在”的风险。在激烈的全球竞争下，对这一风险须引起高度重视。

　　监管存在“真空地带”

　　专家分析认为，AI失控风险背后存在监管机制滞后、协同治理出现“赤字”、安全防护不足三大难题。这些问题相互交织，为AI安全发展带来挑战，亟待引起重视。

　　监管追不上技术迭代。薛澜认为，监管政策的制定过程程序复杂，需系统研究、综合协商，很难跟上技术迭代的速度。例如，OpenAI发布GPT-4不到半年，国内外即有多款对标模型上线，但多数国家对大模型的法律分类、数据使用边界、能力管控机制仍未落地。

　　此外，尽管部分国家要求企业承诺在“红线”领域不再继续推进研发，但在大模型研究竞争激烈的背景下，现有监管更多依赖企业自主约束。为抢占竞争优势，企业可能会优先追求能力突破而弱化风险防控，进一步加剧了监管与技术迭代之间的脱节。

　　协同治理出现“赤字”。今年2月在法国巴黎举行的人工智能行动峰会上，61国签署《关于发展包容、可持续的人工智能造福人类与地球的声明》，英美两国却选择拒签。

　　“技术取舍本身是有价值观的，国与国之间难以统一。”广东省委党校法治广东研究中心主任宋儒亮表示，国际合作应超越短期利益博弈，秉持长期主义理念，保障人工智能为全人类的共同福祉服务。

　　筑牢AI失控“防火墙”

　　专家认为，有必要在算力爆炸与人性坚守的张力之间，构建具备包容、反思、韧性的智能社会。当前我国AI治理框架初具规模，但在治理理念、法律前瞻性、技术防御深度、全球治理协同性等方面仍可强化。

　　薛澜认为，应坚持敏捷治理理念。治理并非创新的对立面，而是实现人工智能健康、有序、可持续发展过程中不可或缺的制度性支撑。

　　一是更新治理思路，尽快出台相关政策，并根据实践反馈不断迭代完善。二是重塑治理关系，摒弃监管者与被监管者之间的博弈思维，进一步加强沟通与合作。三是调整治理措施，在工具选择上突出柔性原则，引导为主，惩罚为辅，以较为缓和方式发挥信号警示作用。

　　“我们只想着让老虎变得更强，却还没为它建一个笼子。”薛澜谈到，过去的研究过于聚焦增强模型能力，忽视了为其构建不可逾越的安全边界。尽管提升模型鲁棒性和可解释性、保障底层价值对齐等方法有助于风险防控，但目前仍缺乏像“安全笼”那样的决定性约束机制。应推动安全防御从被动补救转向主动免疫，构建覆盖全生命周期的安全运营框架。

　　（据新华社11月10日电  《瞭望》新闻周刊记者  马晓澄 杨深深）