szftx.com科学 · 物理化学
技术 · 前沿动态

内存墙的另一面:近存计算到底在解决什么

处理器与内存的带宽增长不同步,把计算搬到数据旁边是一种思路。它的收益与代价都需要算清楚。

编辑部约 6 分钟技术 · 前沿动态

处理器与内存之间的带宽增长不同步,这个差距常被称作内存墙。算力提升得快,数据搬运的速度跟不上。

传统做法是加缓存、加预取,让数据更早到达。但缓存能掩盖的延迟有上限,容量越大,访问路径也越复杂。

带宽差距从哪里来

近存计算把一部分计算搬到内存附近,缩短搬运距离,减少数据在总线上往返的次数。这是思路上的变化。

代价是工艺与成本。内存与计算单元混在一起,散热、良率与测试难度都上升,产线改造投入不小。

把计算搬到数据旁边

软件也要跟着改。数据布局、访存模式、算子切分,都需要按新的存储层级重新设计,移植成本常常被低估。

目前落地的多是特定场景,比如向量检索与推荐推理。通用性有限,说明它更像是补丁而不是通用解。

收益要按总能耗算

判断一项方案是否值得,关键看它是否减少了总能耗,而不只是缩短了延迟。搬运本身的功耗经常被忽略。

对普通用户来说,这类变化最终体现为同样功耗下的可用算力,短期很难直接感知。

本文由本站编辑部整理撰写,内容仅作知识分享,不构成医疗、投资、法律建议,转载请注明出处。

读者留言 · 3 条

体
体系结构研究者

把总能耗作为判据,这个视角比较实在。

软
软件工程师

移植成本被低估这句很有共鸣。

读
长期读者

不讲玄学只讲代价,读得下去。

留言为读者个人观点,不代表本站立场。