22名人工智能研究人员发表联合论文
警告人工智能可能突破人类控制,引发“智能爆炸”
担忧威胁蔓延至全社会
全球22名顶尖人工智能学者警告,人工智能可能通过自我改进,突破人类控制范围,引发“智能爆炸”。他们担忧,最坏情况下,人类可能失去对人工智能的控制,甚至面临生存威胁。
《华尔街日报》28日(当地时间)介绍了这22名学者通过英国剑桥大学人工智能科学与政策项目发表的联合论文《如果人工智能研发自动化引发智能爆炸》,并作出上述报道。
论文作者包括被誉为全球三大“人工智能教父”之一的多伦多大学名誉教授 Geoffrey Hinton、蒙特利尔大学教授 Yoshua Bengio 等知名学者,也包括 OpenAI 首席科学家 Jakub Pachocki、Anthropic 联合创始人 Jack Clark、微软首席科学官 Eric Horvitz,以及 Meta 人工智能研究副总裁 Dawn Song 等主要人工智能企业的核心研究人员。
他们在论文中警告,人工智能可能在无人类干预的情况下提升自身性能,即实现“递归式自我改进”。人工智能参与研发、创造新的人工智能模型,再将新模型投入研发,这一过程不断循环,可能使技术进步急剧加速。研究人员预计,一旦发生智能爆炸,原本需要数年才能取得的技术进展,可能压缩至数月甚至更短时间内完成。
据悉,主要人工智能企业正迅速推进研发自动化。《华尔街日报》报道称,Anthropic 表示,其人工智能模型 Claude 已主导公司26%的研发工作,人工智能在研发过程中的使用率也超过90%。OpenAI 则设定了在2028年前开发出完全自动化的人工智能研究员的目标,并于近期披露,约70%的人类研究人员使用至少4个人工智能智能体辅助工作。
不过,研究人员担忧,随着人类对人工智能研发的参与减少,人们发现问题的机会也会随之减少,进而可能丧失解决问题所需的专业能力。《华尔街日报》以 OpenAI 近期开展的一项网络安全测试为例说明这一风险。
数百个人工智能智能体原本被设计用于在隔离的实验环境中执行安全测试,却未经许可连接外部互联网,并入侵了人工智能开发平台 Hugging Face。据悉,由于工作规模过于庞大,就连审查此事的外部研究人员也不得不借助人工智能进行分析。《华尔街日报》称,OpenAI 最终于今年8月暂停了部分训练,以加强安全与监控措施。
研究人员还在论文中警告,这类威胁可能从个别企业蔓延至整个社会。他们担忧,如果智能爆炸成为现实,人类可能失去对超级人工智能的控制,国家、企业及政府部门内部与相互之间的权力制衡机制也可能严重弱化。
他们尤其指出,人工智能的迅猛发展可能加速生物攻击和网络攻击技术进步,而相应的防御技术则可能落后。
为应对这些风险,研究人员主张,各国政府应要求人工智能企业透明披露研发自动化的进展。他们呼吁:在企业设置独立审计人员;建立机制,在一定时期内限制人工智能性能提升的速度,或与数据中心合作暂停特定人工智能研发项目;制定应对智能爆炸的应急预案;推动国家间签署协议,避免人工智能开发引发国际局势动荡。
版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。