郑纬民院士谈国产卡如何“好用”:摩尔线程从MUSA走向Token生产
“国产卡为什么不好用?”10月31日,在北京举行的2026人工智能+大会上,中国工程院院士、清华大学教授郑纬民以这样一个直白的设问,谈起国产算力面临的现实问题。
回顾郑纬民的整场发言,不难发现,这个设问的重点其实是国产卡怎样才能变得好用。通过完善算子库、通信库、运行时和编程体系,减少不同架构之间的重复适配,让开发者能够以更低成本使用算力,是他提出的重要路径。2025年12月,在摩尔线程首届MUSA开发者大会上,郑纬民也曾将开发者生态列为国产GPU发展的关键一环。
就在此次发言当天,摩尔线程与趋境科技、智谱联合推出“国产异构推理高品质AI Token工厂解决方案”。此前,摩尔线程MTT S5000与趋境科技推理系统组成的方案已进入真实Token生产环境。从软件栈到生产业务,摩尔线程的实践为这一产业议题提供了具体的观察对象。
国产GPU的竞争,正在深入软件栈
一款GPU能够运行主流大模型,并不意味着客户可以立即将既有业务迁移过来。
模型部署通常依赖成熟的软件环境。开发者已经围绕PyTorch等框架积累了大量代码,推理服务又需要调用算子库、通信库、编译器以及运行时系统。当计算平台发生变化,原有代码能否正常执行、性能能否充分释放、不同软件版本能否兼容,都会影响实际部署。
尤其在大模型快速迭代的背景下,软件适配很难成为一次性工作。新模型可能引入不同的注意力机制、量化格式或算子组合,推理框架也在持续更新。
摩尔线程自研的MUSA统一系统架构,正是其解决上述问题的基础。相比单独适配某个模型,MUSA需要在GPU硬件与上层应用之间建立一套持续运行的基础软件体系。
其中,torch_musa负责将摩尔线程GPU接入PyTorch开发环境,尽可能沿用开发者已经熟悉的编程接口;MUSA SDK提供编译、运行时及相关开发工具,muDNN等计算库承担深度学习算子加速,MCCL则负责多GPU之间的集合通信。
摩尔线程还通过torchada等兼容工具降低既有CUDA代码的迁移负担。对于习惯PyTorch及CUDA开发方式的用户而言,减少代码修改和重复适配,有助于降低进入新平台的成本。
在推理层面,摩尔线程已经将软件适配进一步延伸至vLLM、SGLang等主流推理框架。以SGLang-MUSA为例,其技术体系已经支持多种主流大语言模型和多模态模型,并覆盖张量并行、流水线并行、专家并行以及Prefill-Decode分离等能力。针对不同模型的计算特点,摩尔线程还通过MATE等组件优化Attention、矩阵运算和相关推理算子,部分适配成果已经进入SGLang上游社区。
这类工作对开发者的影响,比简单增加一款支持模型更长远。如果GPU厂商的适配长期依赖独立维护的特殊分支,每次上游框架升级,都可能带来新的兼容成本。更多改动能够进入主流开源项目,意味着相关适配有机会随着社区演进持续维护,减少开发者重复处理同类问题。
从Prefill到Decode,摩尔线程进入真实Token生产
软件适配之后,推理系统还要解决资源利用问题。一次大模型请求通常包含两个特点不同的阶段:Prefill(预填充)集中处理输入上下文并生成KV Cache,计算需求较高;Decode(解码)逐步生成输出Token,更多受到显存带宽和访存效率制约。长上下文与智能体应用普及后,这种差异更加突出。
8月,摩尔线程发布《MTT S5000 Prefill-as-a-Service技术白皮书》,提出将预填充能力组织为可独立供给的计算服务,让不同硬件按照任务特点分工。MTT S5000利用自身计算能力承担Prefill,Decode则可以由更适合该阶段的高带宽GPU承接。两者之间的KV Cache传输、请求调度与故障恢复,成为决定方案效率的关键。
9月3日,摩尔线程与趋境科技签署战略合作协议,将MTT S5000及MUSA软件平台与趋境科技自研PD异构推理技术结合。摩尔线程提供GPU算力和基础软件,趋境科技负责模型优化、跨设备协同以及ATaaS平台上的推理服务组织。双方还计划围绕Token Pod(Token超节点)进一步开发软硬件联合方案。
这项合作的进展已经超出实验室适配。双方9月公布,相关方案已承接头部模型厂商官方业务的真实Token流量。在特定国产大模型生产场景中,运行数据显示平均生成速度超过50 TPS、KV Cache命中率超过90%,系统稳定性指标达到99.9%。这些指标表明国产GPU已参与持续推理服务,但由于模型、并发规模、硬件组合以及指标测量口径尚未完整公开,不能把它们直接等同于跨平台性能优势。
10月31日,智谱加入联合发布,三方将模型、推理系统和GPU算力纳入同一方案。与9月已经运行的双方案例相比,新方案增加了模型侧的协同空间,但其完整端到端收益,仍需要后续实际项目检验。摩尔线程在其中的价值,不仅是提供一张可用的GPU卡,还在于通过MUSA软件栈和硬件优化,让计算资源真正接入可持续供给Token的服务系统。
“好用”的最后一关,是使用成本
芯片采购价格只是算力成本的一部分。客户还要承担模型迁移、框架适配、系统运维以及软件升级投入。即使芯片理论性能相近,开发周期、在线服务质量和资源利用率的差异,也可能使单位有效Token成本相差很大。
PD异构推理正是围绕这一问题组织资源。把计算密集的输入阶段与访存密集的输出阶段分开,有机会减少高成本资源的闲置;但跨设备传输与调度本身也会产生额外开销。判断方案是否合算,需要在相同模型、输入输出长度、并发量和服务质量要求下,比较整套系统的投入及产出,而不能仅凭单项吞吐或某个性能倍数下结论。
郑纬民强调的统一生态,还提出了更高一层要求。MUSA主要解决摩尔线程GPU内部的开发与运行问题;跨国产芯片架构的软件复用,则涉及不同厂商之间的接口、工具和基础软件协同。二者方向相关,范围却不相同。摩尔线程推进主流框架兼容、开源社区协作以及与趋境科技等伙伴的系统优化,正是在扩大其软件体系能够服务的实际应用范围。
业务增长也让这些投入有了更具体的观察背景。摩尔线程2026年前三季度营业收入达32.89亿元,同比增长319.15%,同期研发投入13.40亿元;第三季度扣非归母净利润转正,但前三季度累计扣非仍为亏损。上述经营变化不能直接归因于某个Token工厂项目,却显示公司正在同时扩大算力交付和软件研发投入。
从“能运行模型”到“能够稳定生产Token”,国产GPU还需要跨过框架兼容、系统优化和成本核算等关口。摩尔线程已在部分真实业务中获得验证,下一步更关键的,是这些优化能否随着模型更新和客户扩展反复复用,持续降低部署与使用成本。郑纬民提出的“好用”,最终也将在这样的生产环境中得到回答。
最新活动更多
-
11月12日立即下载>>> 【限时领取】威图半导体行业解决方案
-
11月19日立即报名>> 爱德克在线研讨会
-
即日-11.19免费预约>> 【直播报名】AI数据中心电源保护设计要点
-
11月30日立即测试 >> 【限时测试】免费领《在电子技术在工程约束中找到解法》
-
即日-11.30免费下载>> 【白皮书下载】中国半导体核心工艺电源行业市场分析
-
即日-11.30立即试用>> 智能RFID阅读器 KW2D型 产品咨询与试用
- 电子工程师(LED显示屏) 广东省/深圳市
- 营销总监 广东省/深圳市
- 智慧制造项目经理 江苏省/徐州市
- 事业部总监(金融行业) 广东省/深圳市
- 机械研发高级工程师 广东省/深圳市
- 光学球面工程主管 福建省/福州市
- 系统架构师 江苏省/徐州市
- 光模块光学工程师 (无锡) 江苏省/无锡市
- 工艺工程师 广东省/深圳市
- 光模块结构工程师(无锡) 江苏省/无锡市


分享










发表评论
登录
手机
验证码
手机/邮箱/用户名
密码
立即登录即可访问所有OFweek服务
还不是会员?免费注册
忘记密码其他方式
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论