日前，2026年NVIDIA亚太区AI存储研讨会在英伟达总部举行。超云数据与存储研发负责人伍瑞受邀出席，与来自NVIDIA、ODCC、三星、Solidigm、DaoCloud等国内外知名企业及顶尖技术组织的专家齐聚一堂，深入探讨了长上下文推理的存储挑战、缓存体系演进及高性能数据通路设计等议题。在同期举办的GTC 2026大会上，超云展示了面向AI负载的新一代低延迟高性能分布式存储，其针对长上下文推理场景的优化方案引发了行业广泛关注。

在AI存储研讨会上，超云重点分享了基于CS13000-S存储系统的“KV Cache Offloading与PD分离”全栈系统化验证成果，展示了在重构AI推理架构方面的技术实力。

该项技术主要面向长上下文和高并发推理场景，重点评估基于超云CS13000-S 高性能分布式存储的KVCache Offloading方案对长上下文推理延迟、吞吐以及资源利用率的影响。相关测试结果更清晰地反映了各个环节对整体性能的实际影响，为大模型推理系统在架构设计和部署选择上提供了清晰的参考依据。

在DeepSeek-R1-0528的长上下文推理场景中，系统表现出优异的低延迟能力：高并发下，10K上下文首字延迟低于1秒，100K上下文首字延迟也仅约8秒，充分验证了在不依赖G2本地内存及G3本地NVMe的情况下，具备超低延迟特性的G3.5缓存层仍可显著提升GPU推理性能。

更重要的是，通过GDS实现GPU直通存储访问，将KVCache从HBM直接卸载至存储侧，相比多层级KVCache缓存架构，整体链路更加简洁，系统复杂度更低，同时具备更好的成本结构与工程可落地性，在稳定性与成熟度方面也更有优势。

在本次验证中，超云联合 DaoCloud 等合作伙伴，围绕软硬件全栈开展系统级协同优化，覆盖从底层硬件到上层应用的完整链路，包括 GPU 与存储节点的硬件调优、操作系统参数优化、分布式存储参数调优、GDS 访问与调度优化，以及 vLLM、LMCache 的代|码|与参数优化，并结合 ARCC 实现网络层面的针对性优化。

在关键的 GDS 优化环节，针对 AI 推理负载特征，设计并实现了基于硬件拓扑的自适应最优路径选择机制，有效降低数据访问路径开销；同时对 LMCache 中 KVCache 的调度策略与 I/O 模式进行了优化，进一步提升整体数据访问效率。

测试结果表明，经过上述系统级协同优化，在 100K 长上下文场景下，首字延迟降低约 85%，整体吞吐提升接近6倍（相较非GDS模式），充分验证了端到端协同优化在AI推理性能提升中的关键价值。

最后，则是将PD分离架构与KVCache Offloading深度协同的基础性验证。测试结果表明，基于高性能网络与高性能存储构建的PD分离方案具备良好的工程可行性，并能够带来显著的推理性能收益。在长上下文场景，TPOT最高可降低约98%。

同时，验证过程中也识别出若干关键技术挑战，主要集中在Prefill/Decode调度机制以及KVCache元数据同步等方面。针对这些问题，超云进一步探索了结合ARCC进行网络层优化，以提升KVCache元数据同步效率的技术路径，为后续方案优化与产品化落地奠定了基础。