HMC:面向异构 GPU 集群的统一通信库设计与实现
当前数据中心面临多厂商 GPU 硬件共存的现状,但不同厂商的软件栈互不兼容,导致异构硬件间通信效率低下。为解决这一问题,我们开发了 HMC (Heterogeneous Memory Communication)。该库通过统一的内存抽象和直接通信路径优化,解决了跨厂商 GPU 的数据传输瓶颈,并在 vLLM 框架中实现了异构流水线并行推理。
01 异构算力环境下的通信挑战
随着算力需求的增长,数据中心内部署多种类型的加速卡(如 NVIDIA GPU 与各类国产 GPU)已成为常态。然而,这种硬件环境在软件层面存在严重的兼容性问题。
主要技术痛点如下:
- 软件栈互不兼容:各厂商的通信库(如 NCCL、HCCL)仅支持自有硬件,缺乏统一的跨平台通信标准。应用层需要针对不同硬件编写特定的通信代码,开发成本极高。
- 数据传输路径低效:在现有的通用方案中,不同厂商 GPU 之间的数据交换通常缺乏高效的对等(P2P)访问支持。数据被迫经过主机(Host)内存进行中转,即采用
Device A → CPU → Device B的路径。这种方式增加了延迟,限制了系统整体性能。
02 推理场景是异构计算的切入点
在异构计算的落地场景选择上,我们认为大模型推理(Inference)优于预训练(Training)。
- 预训练的局限性:训练任务对梯度同步和通信带宽有极高要求。异构硬件间的性能差异会导致明显的“木桶效应”,使得整体训练效率受限于性能最低的设备。
- 推理的适配性:大模型推理通常是请求驱动的,计算任务之间耦合度相对较低。推理过程主要依赖前向传播,通信模式多为 KV Cache 传输或层间数据交换,对强同步的依赖较低,更适合在异构资源池中进行灵活调度。
因此,HMC 的设计首要目标是服务于异构大模型推理场景。
03 HMC 架构设计与核心特性
HMC 是一个位于驱动层之上的统一通信库,旨在屏蔽底层硬件差异,提供高性能的数据传输能力。目前,我们已经打通了 NVIDIA 与主流国产加速卡的互联互通。
HMC 硬件生态支持一览(已支持厂商:NVIDIA、AMD、海光、寒武纪、摩尔线程、天数智芯等)
核心特性如下:
-
统一内存抽象
HMC 封装了不同厂商(NVIDIA、AMD、海光、寒武纪等)的底层运行时接口,向上层应用暴露统一的显存分配与管理 API。开发者无需关注底层是 CUDA 还是其他国产卡驱动,即可完成显存的创建与管理。 -
去 Host 中转的直接通信
HMC 内部实现了优化的传输层,支持异构设备间的直接数据通路。通过高效的设备间通信机制,数据可在异构显存之间直接拷贝,避免了经过 CPU 内存的不必要中转与复制,从而显著降低通信延迟。 -
支持异构拓扑构建
HMC 允许应用层感知并构建跨厂商的硬件拓扑结构。基于此拓扑,HMC 支持异构环境下的原生 All-to-All 集合通信操作,这对于混合专家模型(MoE)等复杂推理架构至关重要。
04 实验验证:vLLM 集成与测试
为了验证 HMC 的实际可用性,我们将 HMC 作为通信后端集成到了主流推理框架 vLLM 中。
我们在包含 NVIDIA GPU 和 AMD GPU 的混合集群上进行了测试:
-
功能验证
成功跑通了跨厂商的流水线并行(Pipeline Parallel)和 PD 分离(Prefill-Decode)推理任务,证明了 HMC 在异构驱动环境下的稳定性。 -
性能表现
相比于传统经过 CPU 中转的通信方式,HMC 提供了更高的通信吞吐量,有效减少了传输等待时间。
05 总结与后续计划
HMC 目前已初步实现了跨厂商 GPU 的互联互通,支持的硬件包括 NVIDIA、AMD、海光、寒武纪、摩尔线程及天数智芯。
后续开发计划如下:
- 适配原生高速互联:通过接入厂商私有的互联协议(如 MLU-Link、MTLink),进一步提升同构设备组内的通信性能。
- 深化框架支持:优化集合通信算法,并将对 vLLM、SGLang 等框架的支持推向上游分支。
- 推动生态开放:目前的国产卡软件栈版本管理较为混乱(如 vLLM 版本不一致),我们呼吁社区和厂商共同维护更稳定的基础软件生态。
项目开源地址:
https://github.com/IIC-SIG-MLsys/HMC
相关论文:
UHM: Unified Transferring and Pooling over Heterogeneous GPU Memories
Jinyao Liu, Si Wu*, Haoyuan Ma, Chaoqun Li, Shaowei Li, Hongjing Yu, Fengxi Zhou, Feng Li, Xiuzhen Cheng, Pengfei Hu.
IEEE Transactions on Computers (TC) 2026