10月22日，未来生命研究所（Future of Life Institute，FLI）宣布，包括AI教父杰弗里·辛顿在内的超800名科技领袖及公众人物，日前共同签署发布一份倡议，呼吁在“超级智能”技术被科学界普遍认定为可控、安全，并获得公众广泛支持之前，暂停其进一步发展。
这份联合声明的签名名单包含了世界上最有影响力的科技领袖、科学家和公众人物。其中不仅有苹果公司联合创始人史蒂夫·沃兹尼亚克（Steve Wozniak）、维珍集团董事长理查·布兰森（Richard Branson）等科技产业界大佬，名单覆盖范围甚至已远远超出了硅谷。
前美国国家安全顾问苏珊·赖斯、前参谋长联席会议主席迈克·马伦也位列其中，显示了对国家科技安全的严重担忧。甚至连英国王妃梅根、特朗普的盟友史蒂夫·班农也出现在签署名单上，这种跨越政治立场的联合极为罕见。这份跨领域联合阵容显示出超级AI的风险议题已从学术圈蔓延至政治与社会治理层面，成为全球公共议题之一。
据统计截至23日中午，这份声明的签署人数已经超过3000人。在中国学术界，多位知名学者参与联署此次倡议，包括姚期智、清华大学公共管理学院院长薛澜、清华大学智能产业研究院院长张亚勤以及人工智能伦理与治理专家曾毅。他们的参与和主张呼应了中国长期倡导的“安全、可靠、可控”和“以人为本”的人工智能发展理念。
“超级智能的前景已经引起了人们的关注，其影响从人类经济的落伍和权力的剥夺，自由、公民权利、尊严和控制权的丧失，到国家安全风险，甚至可能导致人类灭绝。”签名者们严正警告。倡议明确指向，超级智能并非传统意义上的“算法偏见”或“就业冲击”问题，而是潜在的系统性风险；一旦AI能力全面超越人类，其目标函数若与人类利益错位，可能导致不可逆的社会后果。
事实上，早在人工智能爆发元年的2023年，出于对AI的担忧，包括马斯克、斯蒂夫·沃兹尼亚克在内的1000多名人工智能专家和行业高管就曾集体签署过一份公开信，呼吁人类暂停开发更强大的人工智能至少6个月。而更早之前，著名物理学家霍金生前曾与多位科技界名人发表联署公开信，表示人工智能对人类的威胁更甚于核武器。
“世界尚未准备好迎接不是可控工具的超级智能。”参与本次联署的北京前瞻人工智能安全与治理研究院院长，中国科学院自动化研究所研究员曾毅在个人微信朋友圈直言:“目前我们还没有坚实的科学证据和切实可行的方法来确保超级智能的安全，使其不会给人类带来灾难性的风险。”
所谓“超级智能”，是指在所有核心认知任务上全面超越人类能力的人工智能形式。
“如果以50年为限，超级智能一定会到来”。这是曾毅在2024年底的央视直播中曾下过的断语。当记者抛出“人工智能超过人类智慧，拥有人类情感的这一天是否会到来？”的问题时，曾毅想提出的却是另一个问题：当超级智能到来的时候，人类是不是能够做好准备？
“有一个观点说AI是中立的，对此我极不认同。其实人类的偏见、歧视、仇恨是会被内化到AI中，没有任何一种构造超级智能的方式是没有风险的。”在曾毅看来，一旦选定了正确的方式去构造AI，它的智能水平必然会超越人类，但与此同时，受益于正确价值护栏的超级智能也可以是超级利他的，超级共情的，因此他认为反而是“拥有自我的AI才会令人类社会更安全。”
曾毅曾经预测，和现在的智能体大多使用硅基材料不同，未来的类脑智能体有可能会使用生物材料。以前的智能体是存算分离的，类脑智能的硬件可以存算一体，与担心机器人取代就业机会相比，人们对超级智能体的担忧则因未知而充满不确定性。
参与本次联署呼吁的图灵奖得主、深度学习三巨头之一的约书亚·本吉奥（Yoshua Bengio）也指出，要安全地迈向“超级智能”，我们必须通过科学手段设计出在根本上无法伤害人类的人工智能系统——无论是由于目标偏差，还是被恶意利用。同时他曾多次在公开场合强调，公众也应在塑造人类共同未来的决策中拥有更强的话语权。
值得一提的是，发起本次倡议的未来生命研究所，同期还曾发布一项美国全国性民意调查，显示公众对当前人工智能的发展方向普遍不满。仅有5%的受访者支持目前“无监管的AI开发现状”，而高达73%的受访者支持建立更为严格的监管机制，另有64%的受访者认为，在科学界尚未就安全与可控性达成共识之前，不应开发“超级智能”。
从宏观趋势看，AI风险治理的国际分歧正在加剧。美国与欧盟正推动不同版本的“AI法案”，其中欧盟强调透明度与可追溯性，美国则侧重市场自律与行业标准化。有分析认为，此次倡议或可推动G20或联合国层面的技术伦理议题重启，使AI治理从自律阶段走向多边协商阶段。