华为推出 OceanStor M900 单独存储 KV Cache，专用 SSD 规格尚未定型

华为推出 OceanStor M900，英伟达也已推出 CMX Context Memory Storage，这类产品把推理中可复用的 KV Cache 分层存储，命中时减少重复计算以节省算力开销。