智算多多
官方邮箱:service@zsdodo.com

公司地址:北京市丰台区南四环西路188号总部基地三区国联股份数字经济总部


京公网安备11010602202532号 本次开源的核心内容之一是TileLang的昇腾版本,这一高级语言编译工具的设计定位是构建比CUDA更简单的开发环境,在显著提升开发效率、简化代码逻辑的同时,能够充分吃透芯片特性,将性能发挥至硬件上限。此前TileLang的技术路线已经在英伟达成熟算力平台上完成验证,目前已经承载了DeepSeek V4系列模型训练过程中大部分算子的实现,是DeepSeek开发高性能算子的核心工具。
针对昇腾平台的适配版本,DeepSeek将昇腾Ascend C的底层指令进行了完整封装,为开发者提供了更易上手的高级语言编程方式,同时全程没有损失任何硬件性能表现。按照公开信息,目前DeepSeek训练过程中用到的每一个TileLang算子,在昇腾平台上都已经有对应的经过优化的高性能实现,能够直接投入实际的大模型训练与推理场景使用。
这一开源版本的推出,也旨在为更多AI芯片搭建高可用软件生态提供可参考的示范路径,降低开发者针对不同算力平台编写高性能算子的门槛,减少底层适配过程中的重复工作量。开发者无需直接接触复杂的底层硬件指令,仅通过熟悉的高级语言编程逻辑,就可以充分调用昇腾芯片的全部算力资源,大幅缩短算子开发的周期。
除了TileLang高级语言编译工具之外,本次开源还同步推出了五个面向昇腾平台的核心计算与通信组件,覆盖大模型运行过程中从单卡计算到多卡协同的全流程基础能力,为不同场景下的模型开发提供可直接复用的底层支撑。这五个组件分别对应不同的核心功能,覆盖了大模型运行的关键环节。
其中DeepGEMM组件专门用于加速通用矩阵运算,这是大模型训练与推理过程中调用频率最高的基础计算操作,直接决定了单卡算力的实际释放水平。DeepEP组件则负责提供高效的大规模跨设备通信能力,解决多卡协同运行过程中的数据分发与结果汇合需求,保障多卡集群的运行效率不会因为数据传输瓶颈出现明显下降。
其余三个组件也各有明确的功能定位,TileKernels提供数据处理过程中所需的常规向量计算和访存算子,覆盖各类基础数据处理需求;FlashMLA提供稀疏注意力算子,能够有效提升长上下文场景下的模型处理效率;DeepSelect则实现了高效的数据筛选能力,为大模型训练过程中的数据预处理环节提供加速支持。
根据公开的测试数据,FlashMLA在昇腾950芯片上运行时,处理输入上下文的预填充阶段,稀疏注意力算子最高可以达到硬件理论峰值的95%,在逐步生成内容的解码阶段,最高性能也可以达到硬件理论峰值的83%。DeepEP在专家并行规模不超过32的测试场景中,数据分发带宽约达到物理带宽上限的90%至95%,多项关键测试用例的计算与通信性能整体已经接近硬件上限。
DeepSeek在公开信息中明确提及,在面向昇腾平台的全部研发过程中,华为团队给予了毫无保留的大力支持,双方技术团队紧密协作,共同推进基于昇腾950的128卡超节点方案,针对计算与通信两个核心层面完成了深度优化。这套超节点方案能够为大模型的大规模分布式训练提供高算力密度的集群支撑,减少多节点之间的通信延迟。
目前公开的部分组件能力仍处于持续完善阶段,DeepEP的部分集合通信操作尚在开发过程中,部分接口还处于实验阶段。相关性能测试所使用的硬件环境为华为提供的概念验证版硬件开发套件,并且完成了额外的手动配置,这套配置目前尚未对外公开分发,后续推出的Atlas 850E商用硬件开发套件,将内置达到完整带宽所需的全部配置,开发者无需额外手动调整即可获得完整性能。
针对跨平台开发的需求,TileKernels已经完成对应的适配更新,新增昇腾后端支持后,同一组Python接口可以同时在英伟达GPU和华为NPU上运行,程序会在运行过程中自动识别并选择对应的后端,开发者无需针对不同硬件平台修改大量代码,大幅降低了跨算力平台迁移模型的适配成本。所有开源组件的相关代码均已对外公开,相关开发团队可以直接获取并基于自身需求进行二次开发与适配。
