内存墙的另一面:近存计算到底在解决什么
处理器与内存的带宽增长不同步,把计算搬到数据旁边是一种思路。它的收益与代价都需要算清楚。
处理器与内存之间的带宽增长不同步,这个差距常被称作内存墙。算力提升得快,数据搬运的速度跟不上。
传统做法是加缓存、加预取,让数据更早到达。但缓存能掩盖的延迟有上限,容量越大,访问路径也越复杂。
带宽差距从哪里来
近存计算把一部分计算搬到内存附近,缩短搬运距离,减少数据在总线上往返的次数。这是思路上的变化。
代价是工艺与成本。内存与计算单元混在一起,散热、良率与测试难度都上升,产线改造投入不小。
把计算搬到数据旁边
软件也要跟着改。数据布局、访存模式、算子切分,都需要按新的存储层级重新设计,移植成本常常被低估。
目前落地的多是特定场景,比如向量检索与推荐推理。通用性有限,说明它更像是补丁而不是通用解。
收益要按总能耗算
判断一项方案是否值得,关键看它是否减少了总能耗,而不只是缩短了延迟。搬运本身的功耗经常被忽略。
对普通用户来说,这类变化最终体现为同样功耗下的可用算力,短期很难直接感知。
本文由本站编辑部整理撰写,内容仅作知识分享,不构成医疗、投资、法律建议,转载请注明出处。
读者留言 · 3 条
体
体系结构研究者
把总能耗作为判据,这个视角比较实在。
软
软件工程师
移植成本被低估这句很有共鸣。
读
长期读者
不讲玄学只讲代价,读得下去。
留言为读者个人观点,不代表本站立场。