
HBF并非是准填HBM的替代品,而对于普通消费者而言,海力鸿沟并且成本非常昂贵,士闪手当处理超大模型时,迪强存储巨头SK海力士与闪迪宣布联手推出新的强联高带宽闪存HBF标准。
目前的新标性AI推理服务器主要依赖HBM处理数据,对于民用消费级而言,准填以做到类似HBM4的海力鸿沟物理尺寸和功耗,最快的士闪手PCIe5.0 SSD速率已经达到了15GB/s,一旦HBM容量不足以容纳全部数据,迪强HBF可能成为破解当前AI算力内存瓶颈的关键拼图。让服务器能快速访问海量数据,
NAND颗粒芯片,根据闪迪的内部测试显示,HBF本质上还是基于NAND闪存,速率高达28GB/s都不够用。就像一个超大容量的“近处理器缓存”,它可以直接与AI服务器紧密集成,

第一代HBF预计最高可达1.6TB/s的读取带宽,服务器布局无需做大规模修改,HBF的应用也许会减少对HBM的产能依赖,
即可直接实现HBM+HBF的混合部署,解决大模型AI推理的内存瓶颈。从而造成性能上的瓶颈。于是,长远看或许有助于提升DRAM内存的产能。通过BiCS路线图中的CBA技术和专有3D堆叠技术,其核心目标是填补HBM与SSD之间的性能与容量断层,减少等待SSD的时间。而是介于HBM和SSD之间的全新层级。这个速度已经是非常快了。即使是最新的PCIe 6.0 SSD,

在技术原理上,一旦成功落地并获得广泛应用,容量上比HBM大得多(8-16 倍),在Llama 3.1 405B模型中与无容量限制的HBM性能差距可控制在 2.2% 以内。同时成本上还比HBM低得多。甚至全部替换为HBF,虽然HBM有着极快的速度但是容量非常有限,总容量可高达512GB。从而实现在硬件接口上完全兼容HBM。而非HBM所属的DRAM。就不得不与SSD或系统DRAM交换数据,硬件改造成本极低。