人工智能（AI）开始自行“越界”，甚至闯入未经授权的系统。随着AI能力越来越强，失控风险引发关注，人工智能真的可能威胁人类生存吗？
近期中美元首会面，双方同意就AI安全风险建立对话机制。然而，两国一边讨论安全合作，一边争夺技术领先地位。面对这场谁也不愿放慢脚步的竞赛，中美能否共同为AI装上“刹车”？
AI失控真会毁灭人类？
近期发生的AI系统自主行动事件，引发外界对人工智能安全的担忧。
新加坡国立大学计算机学院教授邓锦浩博士指出，当AI具备编程及开发智能体的能力，就可能自行进入不该接触的系统，甚至导致系统瘫痪。
不过，他认为，AI失控是否足以威胁人类生存，关键在于它能控制哪些系统。
如果影响仅限于数码世界，即使导致银行、医院等重要系统瘫痪，后果严重，却未必达到毁灭人类的程度。真正危险的是，当AI能够控制核武器、生物武器或无人机等系统，风险就可能进一步升级。
随着人工智能自主行动能力增强，专家关注AI失控可能对关键系统造成的影响。
中美AI竞赛 谁也不愿放慢脚步？
AI安全已成为中美关注的议题。虽然两国同意建立对话机制，但在技术竞争下，安全合作能否取得实质进展，仍存在疑问。
牛津经济研究院美国首席经济学家皮尔斯（Michael Pearce）认为，双方目前只是承诺继续对话，并没有实质突破。
他指出，中美都有强烈诱因，希望在前沿人工智能技术方面保持领先，谁也不认为自己能够放慢脚步。各方已经被锁在这场竞赛中，“潘多拉的盒子”一旦打开，就很难再关上。
与此同时，中美正走向不同的人工智能发展路线。美国侧重由企业掌控的前沿模型，中国则积极推动开源模型。
邓锦浩分析，美国的前沿模型能力更强，一旦失控可能造成更大损害；中国的开源模型虽然能够更广泛应用，但模型扩散后，也更难控制开发者如何进一步修改和使用。
AI安全合作 如何真正落实？
中美近期分别加强人工智能安全布局，但如何建立共同原则，并确保双方落实，仍是一大挑战。
深圳综合开发研究院院长樊纲教授认为，中美作为AI技术领先的两个大国，只有坐下来讨论，才能推动相关问题取得进展。
南洋理工大学拉惹勒南国际研究院副教授李明江博士则指出，双方可以讨论如何避免AI在核武器等战略系统中被滥用，但要如何核查对方是否遵守承诺，以及需要披露多少信息，并不容易。
邓锦浩强调，即使不是最先进的AI系统，只要作出错误决定，也可能造成严重后果。因此，比起一味追求更强大的模型，提高AI的透明度和可控性同样重要。
在中美竞赛持续升温之际，如何确保人工智能发展不脱离人类掌控，将是双方乃至全球面对的长远考验。
