Grok放弃HBM改用SRAM
数据传输更快但扩展性受限
寻求低价芯片的科技巨头加大投资

英伟达向一家名为“Grok”的人工智能(AI)半导体设计初创公司投资了200亿美元(约29万亿韩元),并与其签署了技术许可协议。Grok的价值在于其独特的半导体设计技术。与图形处理器(GPU)、张量处理器(TPU)等现有AI芯片不同,它大幅降低了对高带宽存储器(HBM)的依赖。

Grok核心技术LPU,与GPU有何不同

与现有人工智能芯片差异化的Grok语言处理单元(LPU)。Grok提供

与现有人工智能芯片差异化的Grok语言处理单元(LPU)。Grok提供

View original image

Grok于上月24日(当地时间)通过博客表示,“已与英伟达签署非独占许可协议”。作为协议的一部分,Grok创始人Jonathan Ross、总裁Sunny Madra等核心人才已加入英伟达。英伟达将能够使用Grok开发的语言处理单元(LPU)技术。


Grok是一家美国AI芯片设计初创公司,一直在开发名为LPU的独特芯片。LPU与现有GPU、TPU等AI芯片的差异在于存储器结构。LPU并非像其他芯片那样通过HBM连接外置存储器,而是利用芯片内部的存储器。

将存储器置于芯片内部而非外部

AI加速器需要大容量存储器来存放海量AI数据。英伟达和谷歌一直通过在芯片外部连接HBM来解决这一问题。三星电子、SK海力士等韩国存储器企业迎来景气,也是因为用于GPU、TPU等的HBM需求激增。


通用图形处理器(GPU)与 Groq LPU 的差异在于,后者在内部连接了存储器 SRAM,数据传输速度更快。图为 Groq LPU 内部 SRAM 像方块一样整齐排布的样子。Groq 提供

通用图形处理器(GPU)与 Groq LPU 的差异在于,后者在内部连接了存储器 SRAM,数据传输速度更快。图为 Groq LPU 内部 SRAM 像方块一样整齐排布的样子。Groq 提供

View original image

但也有企业选择了与英伟达和谷歌不同的存储器战略。主要是包括Grok在内的AI初创公司正在进行相关研究,这些公司使用的是集成在芯片内部的存储器——静态随机存取存储器(SRAM),而非芯片外部存储器。它直接连接在芯片的运算处理单元,即“核心”旁边,数据传输速度更快。


Grok的LPU即便不使用HBM,也能获得足够的数据容量和传输速度。Grok在LPU技术手册中称:“利用SRAM的Grok存储器带宽(传输速度)为每秒80TB,而普通GPU所用HBM的带宽仅约为每秒8TB,(LPU)最多可保证10倍的速度优势,同时还具有无需额外存储芯片这一优点。”

难以使用且扩展性受限的瓶颈

然而,SRAM也存在缺点。最大的问题在于,目前以SRAM为基础的芯片对计算机工程师而言仍不够熟悉。相反,英伟达拥有针对AI优化的软件“CUDA(Compute Unified Device Architecture,统一计算设备架构)”,在早期AI芯片竞争中占据压倒性优势。如今约90%的AI加速器市场由英伟达GPU所掌控。


另一问题出在半导体工艺上。目前最新的计算机芯片采用的是2~3纳米(nm)的先进制程。然而,在先进制程中,SRAM的稳定性偏弱,难以在芯片内部进行高密度排列。工艺越微缩,SRAM的集成度就越需要提高,才能完全取代外置存储器,但如今却似乎突然踩下了“刹车”。


得益于最新的EUV光刻机,目前计算机芯片的生产节点已缩小到2至3纳米(㎚)级,但要在这一工艺节点上排布S-RAM仍然困难。ASML提供

得益于最新的EUV光刻机,目前计算机芯片的生产节点已缩小到2至3纳米(㎚)级,但要在这一工艺节点上排布S-RAM仍然困难。ASML提供

View original image

对此,比利时半导体研究机构IMEC的所长Greet Hellings去年在接受半导体专业媒体《Semiconductor Engineering》采访时表示:“以目前情况来看,用于提升SRAM性能的余地并不多”,“如果缩短SRAM引脚的长度,就必须相应增加其高度。这意味着即便采用先进制程,SRAM的密度也无法得到充分提升。”

“有望成为远比GPU高效的AI芯片”

尽管存在这些局限,近期针对SRAM的投资正逐步活跃起来。不仅仅是Grok。作为SRAM先驱企业的英国Graphcore已于2024年被孙正义担任董事长的软银收购,目前正在设计新的AI半导体。上月11日有报道称,英特尔收购另一家SRAM初创公司SambaNova的程序已进入收尾阶段。



如果SRAM能够解决上述障碍,LPU就有潜力成为针对生成式AI服务基础——大型语言模型(LLM)推理进行优化的AI半导体。美国科技专业机构“Silicon Angle”指出:“像LPU这样的芯片,有可能比GPU更高效地执行AI推理任务”,“原因在于它们不是依赖HBM,而是通过SRAM来优化AI性能。SRAM的功耗远低于HBM。”


本报道由人工智能(AI)翻译技术生成。

版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。

不容错过的热点