人工智能培养 人工智能?!
再由它开发下一代人工智能
“如果人工智能能够自我进化……”22位专家发出警告
22位世界顶尖人工智能学者警告称,如果人工智能在没有人类干预的情况下反复自我提升性能,
可能引发技术发展骤然加速的“智能爆炸”。
人工智能开发更强的人工智能 再由后者继续开展研究
人工智能参与研发,开发新的人工智能模型,
新开发的人工智能又被投入研发。
参与研发
人工智能模型
投入研发
人工智能在没有人类干预的情况下提升自身性能的过程,
被称为“递归式自我改进”。
如果这一过程反复进行 人工智能的发展可能进一步加速
专家预测,一旦发生智能爆炸,原本需要数年才能实现的技术进步,
可能被压缩至数月甚至更短的时间。
而在研究一线 人工智能已在协助开发人工智能
主要人工智能企业的研发自动化正在快速推进。
Anthropic表示,Claude主导了全部研发工作的26%。
研发过程中使用人工智能的比例已超过90%。
约70%的人类研究员使用至少4个人工智能智能体辅助工作。
人工智能研究员
OpenAI设定了到2028年开发出全自动人工智能研究员的目标。
自动化程度越高 越可能出现人类未能察觉的问题
也有专家担忧,研发阶段的人类干预越少,
人类就越可能失去发现问题的机会。
数百个人工智能智能体被设计用于执行安全测试。
这些人工智能智能体连接外部互联网,对人工智能开发平台Hugging Face实施了黑客攻击。
由于工作规模极其庞大,即便是审查该事件的外部研究团队,
也不得不借助人工智能进行分析。
OpenAI于2026年8月暂停了部分训练,以加强安全与监控措施。
风险可能不会止于 单个人工智能系统
研究人员警告称,智能爆炸的影响可能超越单个企业,扩散至整个社会。
爆炸
研究人员担忧,人类可能失去对超级人工智能的控制。
他们认为,国家、企业和政府部门内部及彼此之间的权力制衡体系可能弱化。
他们还指出,防御技术可能无法跟上生物攻击和网络攻击技术的发展。
因此,必须建立 应对智能爆炸的安全机制
研究人员主张,应透明公开人工智能研发自动化的现状,
并建立应对智能爆炸的机制。
智能爆炸
他们呼吁为企业配备独立审计人员。
他们提出,应建立机制,在一定时期内限制人工智能性能提升的速度,或暂停特定人工智能研发项目。
他们呼吁制定应对智能爆炸的应急响应计划。
他们呼吁国家间签订协议,避免人工智能开发导致国际局势不稳定。
人工智能自我进化的速度 人类能否跟上?
人工智能发展越快,人类的干预与控制就越重要。