KAIST：“对抗英伟达垄断的新势力，将开发大容量高性能GPU”
可与英伟达（NVIDIA）相媲美的高容量、高性能人工智能（AI）加速器已在韩国本土开发完成。当前英伟达几乎垄断了AI加速器市场。韩国本土研究团队通过搭载下一代接口技术的高容量、高性能AI加速器，向英伟达的一家独大格局发起挑战。
（从上排左侧起顺时针方向）电气及电子工程学部硕士研究生 Kim Dongpyeong、硕士研究生 Yu Eojin、博士 Lee Sangwon、博士研究生 Guk Donghyeon、教授 Jeong Myeongsu、博士研究生 Kang Seungkwan、博士研究生 Jang Junhyeok、博士研究生 Bae Hanyeoreum。KAIST 提供
View original image韩国科学技术院（KAIST）8日表示，电气及电子工程系Jung Myungsoo教授研究团队（计算机体系结构及存储系统实验室）已开发出一项技术，通过激活下一代接口技术CXL（Compute Express Link），优化大容量图形处理器（GPU）内存读写性能。
最新GPU的内部内存容量仅为数十千兆字节（GB），单凭一块GPU无法完成模型推理和训练。出于同样原因，业界为满足大规模AI模型对内存容量的需求，普遍采用多块GPU互连的方式，但鉴于GPU市场价格高企，这种方式会大幅推高总拥有成本（TCO，Total Cost of Ownership）。
产业界之所以积极研究通过下一代互连技术“CXL”将大容量内存直接连接到GPU设备上的“CXL-GPU”架构技术，正是出于这一考虑。
CXL-GPU通过将CXL互连的内存扩展设备的内存空间整合进GPU内存空间，从而实现大容量支持。整合后内存空间管理所需的操作由CXL控制器自动完成，GPU可以用与访问原有本地内存相同的方式访问扩展内存空间。与以往为扩充内存容量而追加采购高价GPU的做法不同，CXL-GPU只需为GPU有选择性地增加内存资源即可，因而在系统构建成本上具有大幅削减的优势。
然而，仅凭CXL-GPU的大容量特性，还难以真正应用于AI服务。由于大规模AI服务需要极快的推理和训练性能，只有当直接连接至GPU的内存扩展设备在内存读写方面能提供接近GPU本地内存的性能时，才能真正用于AI服务。
研究团队此次开发的技术，通过分析并改善CXL-GPU设备内存读写性能下降的原因，具有重要意义。团队开发出一种允许内存扩展设备自主决定内存写入时机的技术：当GPU设备向内存扩展设备发出内存写入请求时，系统同时在GPU本地内存中执行写入操作。
通过根据内存扩展设备的内部工作状态安排操作，GPU无需等待直至确认内存写入任务完成，从而解决了写入性能下降的问题。
研究团队还开发了这样一项技术：由GPU设备预先向内存扩展设备提供提示，使其能够提前执行内存读取。利用这一技术，内存扩展设备可以更早开始内存读取，当GPU设备真正需要数据时，即可从缓存（小而快速的临时数据存储空间）中读取，从而实现更高的内存读取性能。
本次研究利用了半导体无晶圆厂初创企业Panmnesia的超高速CXL控制器和CXL-GPU原型机开展。
Panmnesia拥有业内首款将CXL内存管理操作往返时延压缩至两位数纳秒（nanosecond）以下的自研CXL控制器。该控制器完全由韩国本土技术开发而成，运行速度比世界各国推出的最新CXL控制器快3倍以上。
Panmnesia利用高速CXL控制器，将多台内存扩展设备直接连接到GPU，使单块GPU即可构成太字节（TB）级的大规模内存空间。
研究团队基于Panmnesia的CXL-GPU原型机进行技术有效性验证，确认其运行AI服务的速度比既有GPU内存扩展技术快2.36倍。
研究团队的研究成果将于本月在圣克拉拉举行的USENIX联合学会及HotStorage研究发表会上公开。
Jung Myungsoo教授表示：“大规模语言模型在训练时需要数至数十太字节的内存，处于AI服务提供最前沿的大型科技企业为满足这一需求，正竞相扩大模型和数据规模。我们认为，此次研究的意义在于，团队开发出了搭载下一代接口技术、能够对抗当前垄断AI加速器市场的英伟达的高容量、高性能AI加速器。”
他还补充称：“我们期待此次开发的技术能够加速CXL-GPU市场的启动进程，并有望大幅降低运营大规模AI服务的大型科技企业的内存扩展成本。”
版权所有 © 阿视亚经济。未经许可不得转载，禁止用于AI训练及使用。
