研究方向

异构加速器统一通信研究

异构加速器统一通信研究

围绕异构算力协同与大模型推理,研究跨厂商互联、显存直传、流水线传输与拥塞控制,为单机及分布式人工智能系统提供高效、稳定的通信支撑。同时探索 CPU/GPU 协同执行,减少集合通信对 GPU 计算资源的占用。

亮点
  • 异构互联:统一连接 NVIDIA、AMD/海光、寒武纪、摩尔线程、昆仑芯等加速器
  • 高效传输:结合显存直传与双缓冲流水线,减少数据搬运开销、提升传输效率
  • 拥塞优化:结合细粒度流量拆分与自适应拥塞控制,提升网络竞争下的传输稳定性
  • 计算通信协同:结合异步传输与 CPU/GPU 协同调度,减少通信等待对 GPU 计算资源的占用

KV Cache 管理与优化研究

KV Cache 管理与优化研究

面向长上下文与多轮交互,研究分布式 KV Cache 管理、复用与压缩,减少重复预填充和缓存访问开销。结合云原生架构与主流推理框架,协同优化缓存容量、传输与加载效率,改善长对话的缓存复用和尾延迟,提升单位缓存资源的服务能力。

亮点
  • 分布式缓存复用:分离缓存管理与数据传输,研究跨请求、跨实例复用与生命周期管理,改善多轮交互的缓存命中与尾延迟
  • 压缩与加载协同:结合无损压缩与 token 重要性感知的有损压缩,权衡缓存体积、模型质量与加载时延
  • 缓存放置与调度:研究按需一致性与分层缓存放置,权衡缓存传输、复用和重算成本
  • 存储与传输:探索分层存储、CXL 等新介质与 uGDS 等传输路径,降低缓存 I/O 开销

智算云与大模型服务系统研究

面向异构智算集群与大模型服务,研究算力资源管理、云网络保障与推理执行优化,在模型效果、吞吐、时延与资源成本之间寻找更优平衡。结合爱特云翔一体化算力云平台(IaaS+PaaS+MaaS)合作,开展平台架构与关键模块方案设计,支撑国产算力上的模型运行与服务交付。

亮点
  • 智算云平台:围绕 GPU 纳管、共享与资源管理,开展平台总体架构和关键模块设计
  • 云网络保障:基于 eBPF 研究需求感知、多优先级动态带宽分配与闲置带宽回收
  • 国产平台推理优化:结合模型、输入长度与设备互联条件,优化算子执行、TP/PP 并行组合及缓存交接,提升长上下文推理效率
  • 大小模型协同:研究固定 GPU 预算下的混合部署,在模型效果、服务吞吐与响应时延之间寻找更优折中
  • 推理服务接入:围绕多 IDC 统一 API、请求路由与 Token 用量管理,开展网关和模型服务平台设计

可靠存储与快速恢复研究

面向分布式存储与人工智能系统,研究低开销数据保护、故障修复与快速恢复机制,在数据可靠性、存储成本和服务性能之间寻找更优平衡。结合纠删码等容错技术,优化冗余保护与数据重建,并拓展至大模型推理状态保护,降低故障造成的重计算开销和服务中断时间。

亮点
  • 拓扑感知纠删码:针对硬盘、节点和机架等故障层级,设计分层编码规则、校验矩阵及数据与校验块布局,兼顾容错能力、存储开销和编解码效率
  • 故障数据重建:针对存储设备和节点故障,优化重建路径与修复任务调度,降低修复开销并缩短数据恢复时间
  • 服务连续性保障:协调数据重建与正常业务的资源分配,降低故障修复对吞吐量和响应时延的影响
  • KV Cache 容错:面向大模型推理状态,研究低开销编码保护与快速恢复机制,减少故障后的重复计算和服务中断