订阅
纠错
加入自媒体

郑纬民院士谈国产卡如何“好用”:摩尔线程从MUSA走向Token生产

“国产卡为什么不好用?”10月31日,在北京举行的2026人工智能+大会上,中国工程院院士、清华大学教授郑纬民以这样一个直白的设问,谈起国产算力面临的现实问题。

回顾郑纬民的整场发言,不难发现,这个设问的重点其实是国产卡怎样才能变得好用。通过完善算子库、通信库、运行时和编程体系,减少不同架构之间的重复适配,让开发者能够以更低成本使用算力,是他提出的重要路径。2025年12月,在摩尔线程首届MUSA开发者大会上,郑纬民也曾将开发者生态列为国产GPU发展的关键一环。

就在此次发言当天,摩尔线程与趋境科技、智谱联合推出“国产异构推理高品质AI Token工厂解决方案”。此前,摩尔线程MTT S5000与趋境科技推理系统组成的方案已进入真实Token生产环境。从软件栈到生产业务,摩尔线程的实践为这一产业议题提供了具体的观察对象。

国产GPU的竞争,正在深入软件栈

一款GPU能够运行主流大模型,并不意味着客户可以立即将既有业务迁移过来。

模型部署通常依赖成熟的软件环境。开发者已经围绕PyTorch等框架积累了大量代码,推理服务又需要调用算子库、通信库、编译器以及运行时系统。当计算平台发生变化,原有代码能否正常执行、性能能否充分释放、不同软件版本能否兼容,都会影响实际部署。

尤其在大模型快速迭代的背景下,软件适配很难成为一次性工作。新模型可能引入不同的注意力机制、量化格式或算子组合,推理框架也在持续更新。

摩尔线程自研的MUSA统一系统架构,正是其解决上述问题的基础。相比单独适配某个模型,MUSA需要在GPU硬件与上层应用之间建立一套持续运行的基础软件体系。

其中,torch_musa负责将摩尔线程GPU接入PyTorch开发环境,尽可能沿用开发者已经熟悉的编程接口;MUSA SDK提供编译、运行时及相关开发工具,muDNN等计算库承担深度学习算子加速,MCCL则负责多GPU之间的集合通信。

摩尔线程还通过torchada等兼容工具降低既有CUDA代码的迁移负担。对于习惯PyTorch及CUDA开发方式的用户而言,减少代码修改和重复适配,有助于降低进入新平台的成本。

在推理层面,摩尔线程已经将软件适配进一步延伸至vLLM、SGLang等主流推理框架。以SGLang-MUSA为例,其技术体系已经支持多种主流大语言模型和多模态模型,并覆盖张量并行、流水线并行、专家并行以及Prefill-Decode分离等能力。针对不同模型的计算特点,摩尔线程还通过MATE等组件优化Attention、矩阵运算和相关推理算子,部分适配成果已经进入SGLang上游社区。

这类工作对开发者的影响,比简单增加一款支持模型更长远。如果GPU厂商的适配长期依赖独立维护的特殊分支,每次上游框架升级,都可能带来新的兼容成本。更多改动能够进入主流开源项目,意味着相关适配有机会随着社区演进持续维护,减少开发者重复处理同类问题。

从Prefill到Decode,摩尔线程进入真实Token生产

软件适配之后,推理系统还要解决资源利用问题。一次大模型请求通常包含两个特点不同的阶段:Prefill(预填充)集中处理输入上下文并生成KV Cache,计算需求较高;Decode(解码)逐步生成输出Token,更多受到显存带宽和访存效率制约。长上下文与智能体应用普及后,这种差异更加突出。

8月,摩尔线程发布《MTT S5000 Prefill-as-a-Service技术白皮书》,提出将预填充能力组织为可独立供给的计算服务,让不同硬件按照任务特点分工。MTT S5000利用自身计算能力承担Prefill,Decode则可以由更适合该阶段的高带宽GPU承接。两者之间的KV Cache传输、请求调度与故障恢复,成为决定方案效率的关键。

9月3日,摩尔线程与趋境科技签署战略合作协议,将MTT S5000及MUSA软件平台与趋境科技自研PD异构推理技术结合。摩尔线程提供GPU算力和基础软件,趋境科技负责模型优化、跨设备协同以及ATaaS平台上的推理服务组织。双方还计划围绕Token Pod(Token超节点)进一步开发软硬件联合方案。

这项合作的进展已经超出实验室适配。双方9月公布,相关方案已承接头部模型厂商官方业务的真实Token流量。在特定国产大模型生产场景中,运行数据显示平均生成速度超过50 TPS、KV Cache命中率超过90%,系统稳定性指标达到99.9%。这些指标表明国产GPU已参与持续推理服务,但由于模型、并发规模、硬件组合以及指标测量口径尚未完整公开,不能把它们直接等同于跨平台性能优势。

10月31日,智谱加入联合发布,三方将模型、推理系统和GPU算力纳入同一方案。与9月已经运行的双方案例相比,新方案增加了模型侧的协同空间,但其完整端到端收益,仍需要后续实际项目检验。摩尔线程在其中的价值,不仅是提供一张可用的GPU卡,还在于通过MUSA软件栈和硬件优化,让计算资源真正接入可持续供给Token的服务系统。

“好用”的最后一关,是使用成本

芯片采购价格只是算力成本的一部分。客户还要承担模型迁移、框架适配、系统运维以及软件升级投入。即使芯片理论性能相近,开发周期、在线服务质量和资源利用率的差异,也可能使单位有效Token成本相差很大。

PD异构推理正是围绕这一问题组织资源。把计算密集的输入阶段与访存密集的输出阶段分开,有机会减少高成本资源的闲置;但跨设备传输与调度本身也会产生额外开销。判断方案是否合算,需要在相同模型、输入输出长度、并发量和服务质量要求下,比较整套系统的投入及产出,而不能仅凭单项吞吐或某个性能倍数下结论。

郑纬民强调的统一生态,还提出了更高一层要求。MUSA主要解决摩尔线程GPU内部的开发与运行问题;跨国产芯片架构的软件复用,则涉及不同厂商之间的接口、工具和基础软件协同。二者方向相关,范围却不相同。摩尔线程推进主流框架兼容、开源社区协作以及与趋境科技等伙伴的系统优化,正是在扩大其软件体系能够服务的实际应用范围。

业务增长也让这些投入有了更具体的观察背景。摩尔线程2026年前三季度营业收入达32.89亿元,同比增长319.15%,同期研发投入13.40亿元;第三季度扣非归母净利润转正,但前三季度累计扣非仍为亏损。上述经营变化不能直接归因于某个Token工厂项目,却显示公司正在同时扩大算力交付和软件研发投入。

从“能运行模型”到“能够稳定生产Token”,国产GPU还需要跨过框架兼容、系统优化和成本核算等关口。摩尔线程已在部分真实业务中获得验证,下一步更关键的,是这些优化能否随着模型更新和客户扩展反复复用,持续降低部署与使用成本。郑纬民提出的“好用”,最终也将在这样的生产环境中得到回答。

声明: 本网站所刊载信息,不代表OFweek观点。刊用本站稿件,务经书面授权。未经授权禁止转载、摘编、复制、翻译及建立镜像,违者将依法追究法律责任。

发表评论

共0条评论,0人参与

请输入评论内容...

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

    半导体 猎头职位 更多

    在线客服

    文章纠错
    x
    *文字标题:
    *纠错内容:
    联系邮箱:
    *验 证 码:

    粤公网安备 44030502002758号