当前位置:首页 > 科研成果库

近存计算到底怎么救内存墙?聊聊HBM-PIM、CXL和那些坑

2026-11-16 20:22:31小研科研成果库8

先讲个真事。某团队拿A100跑推荐模型,算力利用率不到三成。为啥?GPU在等数据。等HBM把特征向量喂过来。等PCIe把KV cache搬过去。算力卡在那儿,风扇转得欢,活没干多少。这不是调参问题。这是内存墙。

近存计算最近又热了。不是新概念。上世纪90年代就有人往DRAM旁边塞逻辑。但这两年,大模型、CXL、HBM4、UCIe一起拱火,情况变了。

内存墙不是玄学,是功耗账本

处理器峰值算力每年涨得飞快,DRAM带宽呢?慢得多。延迟更气人,十几年几乎原地踏步。更麻烦的是搬运。在老工艺节点下,做一次32位浮点乘加,能耗大概几个皮焦。从DRAM读32位数据,可能几百皮焦。差两个数量级。你算得再快,数据在路上就把电费烧完了。

所以近存计算的核心就一句话:把计算搬到数据旁边,少搬数据。 内存控制器旁边,DIMM条上,HBM base die里,甚至DRAM bank附近。都行。只要别让数据在片外绕大圈。

三星HBM-PIM近存计算芯片内部架构图三星HBM-PIM近存计算芯片内部架构图

近存计算和存内计算,别混为一谈

很多人把这两个词混着用。严格说,不一样。近存计算,Near-Memory Computing,逻辑单元和存储单元还是分开的,只是离得近。比如三星的HBM-PIM,在HBM堆叠里塞了可编程计算单元PCU。SK海力士的GDDR6-AiM,在显存颗粒里加计算核。UPMEM的PIM DIMM,把一堆小RISC核放进了DRAM条。

存内计算,In-Memory Computing,更激进。直接在SRAM、ReRAM、MRAM、PCM的阵列里做计算。利用欧姆定律、基尔霍夫定律,模拟域乘加。精度、噪声、外围电路都是硬骨头。两者目标一样:打内存墙。路线不同。

公开成果里,三星Aquabolt-XL HBM2-PIM在语音识别任务上,系统性能提升约两倍,能耗降了七成左右。UPMEM在基因测序、数据库扫描里也有论文,几十个PIM核并行干重复活,CPU只发指令。说实话,这些数字不一定是所有场景的万能药。但它们证明了一件事:内存侧的计算单元,真能省带宽、省功耗。

大模型把近存计算拽回舞台中央

为什么是现在?因为大模型推理太吃内存了。参数几百GB,KV cache随着上下文长度暴涨。长上下文一开,显存直接爆。GPU算力再猛,也得等HBM把KV搬过来。这时候近存计算就有意思了。把部分注意力计算、GEMV、embedding lookup放到内存侧,减少来回搬运。

还有推荐系统。Embedding表大到离谱,几十TB。每次请求查一堆向量。传统做法是CPU/GPU从内存拉,拉完算。近存计算可以在DIMM上做初步聚合,只把结果传回去。图计算也类似。遍历图的时候,随机访问多,带宽浪费严重。

CXL又添了一把火。CXL内存池化让多个主机共享内存,近存计算可以塞进CXL内存模块。CXL 3.0/3.1支持内存共享和交换,理论上前端CPU、GPU、加速器都能访问。UCIe让chiplet互连更快。HBM4据说要把base die交给逻辑代工厂做,这等于给近存计算开了后门。

CXL内存池化近存计算数据中心部署示意图CXL内存池化近存计算数据中心部署示意图

真落地,坑比想象多

真落地,坑比想象多真落地,坑比想象多

别急着欢呼。近存计算喊了这么多年,没大面积铺开,有原因。

第一,编程模型太反人类。 CUDA已经够难了,PIM还要考虑数据怎么摆、指令怎么发、主机和PIM怎么同步。UPMEM有自己的一套SDK,但生态小。大厂不想为几个场景重写软件栈。编译器、操作系统、虚拟内存、一致性,全是活。

第二,散热和工艺。 HBM本来热密度就高。再往里面塞计算核,功耗上去了,散热更难。DRAM工艺擅长存储,逻辑速度慢。逻辑工艺做DRAM又贵。3D堆叠能解决一部分,但良率和成本摆在那。

第三,标准碎片化。 JEDEC在推HBM-PIM相关标准,但进度不快。各家有自己的指令集。CXL还在演进。客户最怕押错宝。买一堆专用PIM,过两年生态没了,谁负责?

所以近存计算不是万能药。它适合带宽瓶颈型、规则并行、低精度负载。比如int8推理、embedding、图遍历、基因比对。复杂控制流、高精度科学计算,还是老实用CPU/GPU。别硬塞。

接下来盯什么信号

接下来盯什么信号接下来盯什么信号

看几个东西。JEDEC的HBM-PIM标准什么时候落地。CXL 3.1/4.0的设备认证和真实服务器。三星、SK海力士、美光的路线图。UPMEM第二代。还有Hot Chips、ISCA、MICRO上的论文。别只看PPT。

投资角度也一样。近存计算是长赛道。短期概念多,真出货少。要看谁有生态,谁有客户,谁能把编译器搞定。光有芯片没用。

最后说个判断。未来五年,近存计算不会取代GPU,但会变成加速器旁边的标配。就像现在没人会问要不要用HBM一样。等到某天,你买内存条,默认带几个计算核,那这事就成了。

所以,下次看到某某芯片算力几百T,先问一句:喂得饱吗?