从简单对话式聊天机器人转向持续运行的AI员工
"存储器需求将呈几何级增长"

有预测称,OpenAI近期推出的ChatGPT Astra将推动人工智能(AI)智能体的普及,进而大幅增加存储器需求。


韩华投资证券研究员Park Junyoung近日在题为《Astra预示的存储器需求爆发式增长》的报告中表示:“智能体的普及将显著扩大存储器需求。”


他评价称,以ChatGPT Astra为起点,生成式AI的本质正从简单问答聊天机器人转向可自主执行任务的AI智能体。过去的模型需要用户逐一指示操作顺序,而Astra在被赋予目标后,可跨越网页浏览器、企业资源计划系统等平台,自行完成多步骤任务。

[周末财经]ChatGPT Astra将带来哪些变化 View original image

Astra的运行机制与在办公室工作的人相同:不会在下载大容量文件时停滞不动,而是像同时起草其他审批文件的员工一样进行多任务处理,即异步调用工具;在长时间任务中,它还能维持此前的指令和判断,即进行长期上下文管理。Astra会将核心内容留存为工作备忘,并在必要时重新检索此前的上下文。所谓上下文,是指AI为完成当前任务而参考的指令、资料及中间成果等。任务也并非由一个人按顺序全部处理,而是可在类似总负责人智能体的指挥下,由数据分析员、审核员等下属智能体同时分工完成项目。


除Astra外,Anthropic Claude等产品也正在成为后台基础设施:即使人员离开座位或合上笔记本电脑,AI仍会在云端24小时持续运行。这意味着行业正从一次性训练转向持续推理。


Park研究员预计,因此令牌消耗量将较此前大幅增加,存储器需求也将快速上升。与普通聊天相比,单一智能体消耗的令牌量达到4倍,多智能体系统则达到15倍。过去通过用户数量乘以提问次数来决定计算需求,如今则变为每位用户的智能体数量乘以任务执行时间,基础设施运行时长将实现飞跃式增长。换言之,所有变量均以乘法关系发挥作用,存储器需求增速将远高于AI用户增速。



例如,高带宽存储器用于处理当前运算中的模型及实时键值缓存,因此预计将推动每块图形处理器搭载容量增加,并向更高带宽规格转换。服务器动态随机存取存储器则保存无法全部装入昂贵高带宽存储器中的待机上下文和中间成果。企业级固态硬盘的需求也有望增加,用于永久保存长期累积的工作记录、合同原件及大容量多媒体数据。


本报道由人工智能(AI)翻译技术生成。

版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。