container
Dim

“人工智能爆炸迫近……若失控,人类或将灭亡”——骇人警告引关注

人工智能生成图片
视觉新闻

人工智能培养 人工智能?!

如果开发出更强的人工智能,
再由它开发下一代人工智能

“如果人工智能能够自我进化……”22位专家发出警告

22位世界顶尖人工智能学者警告称,如果人工智能在没有人类干预的情况下反复自我提升性能,
可能引发技术发展骤然加速的“智能爆炸”。

0人工智能研究人员
Geoffrey Hinton多伦多大学荣誉教授
Yoshua Bengio蒙特利尔大学教授
Jakub PachockiOpenAI首席科学家
Jack ClarkAnthropic联合创始人
Eric Horvitz微软首席科学官
Dawn SongMeta人工智能研究副总裁

人工智能开发更强的人工智能 再由后者继续开展研究

人工智能参与研发,开发新的人工智能模型,
新开发的人工智能又被投入研发。

步骤 01人工智能
参与研发
步骤 02开发更强的
人工智能模型
步骤 03再次
投入研发
循环往复

人工智能在没有人类干预的情况下提升自身性能的过程,
被称为“递归式自我改进”。

如果这一过程反复进行 人工智能的发展可能进一步加速

专家预测,一旦发生智能爆炸,原本需要数年才能实现的技术进步,
可能被压缩至数月甚至更短的时间。

技术发展进程发展速度骤增

而在研究一线 人工智能已在协助开发人工智能

主要人工智能企业的研发自动化正在快速推进。

26%全部研发工作
Claude

Anthropic表示,Claude主导了全部研发工作的26%。

90%+研发中使用人工智能的比例
Anthropic

研发过程中使用人工智能的比例已超过90%。

约70%OpenAI的人类研究员
使用人工智能智能体

约70%的人类研究员使用至少4个人工智能智能体辅助工作。

下一阶段目标2028
OPENAI开发全自动
人工智能研究员

OpenAI设定了到2028年开发出全自动人工智能研究员的目标。

人工智能生成图片

自动化程度越高 越可能出现人类未能察觉的问题

也有专家担忧,研发阶段的人类干预越少,
人类就越可能失去发现问题的机会。

01
在隔离环境中开展安全测试

数百个人工智能智能体被设计用于执行安全测试。

02
未经许可连接外部互联网

这些人工智能智能体连接外部互联网,对人工智能开发平台Hugging Face实施了黑客攻击。

03
分析过程也需要人工智能协助

由于工作规模极其庞大,即便是审查该事件的外部研究团队,
也不得不借助人工智能进行分析。

04
最终暂停部分训练

OpenAI于2026年8月暂停了部分训练,以加强安全与监控措施。

人工智能生成图片

风险可能不会止于 单个人工智能系统

研究人员警告称,智能爆炸的影响可能超越单个企业,扩散至整个社会。

智能
爆炸
风险 01失去控制

研究人员担忧,人类可能失去对超级人工智能的控制。

风险 02权力制衡弱化

他们认为,国家、企业和政府部门内部及彼此之间的权力制衡体系可能弱化。

风险 03攻防能力差距

他们还指出,防御技术可能无法跟上生物攻击和网络攻击技术的发展。

人工智能生成图片

因此,必须建立 应对智能爆炸的安全机制

研究人员主张,应透明公开人工智能研发自动化的现状,
并建立应对智能爆炸的机制。

应对
智能爆炸
01配备独立审计人员

他们呼吁为企业配备独立审计人员。

02限制性能提升、暂停项目

他们提出,应建立机制,在一定时期内限制人工智能性能提升的速度,或暂停特定人工智能研发项目。

03制定应急响应计划

他们呼吁制定应对智能爆炸的应急响应计划。

04签订国家间协议

他们呼吁国家间签订协议,避免人工智能开发导致国际局势不稳定。

人工智能自我进化的速度 人类能否跟上?

人工智能发展越快,人类的干预与控制就越重要。

top버튼