国内大模型竞逐MoE技术高地 科大讯飞推出业界首个国产算力训推方案

admin3天前商业3

  炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!

  大模型训练的高成本始终是行业痛点,而混合专家模型(MoE)因其“稀疏激活”特性成为降本增效的关键路径。随着DeepSeek R1开源引爆技术热潮,字节、阿里以及科大讯飞等国内主流大模型企业纷纷加码MoE架构创新,从通信优化到国产算力适配,一场围绕效率与生态的竞逐赛已然展开。

  3月1日,DeepSeek发布了“开源周”后的“彩蛋”,首次公布了模型降本增效的技术细节以及理论上高达545%的利润率。“彩蛋”显示,DeepSeek的671B参数模型在处理每个问题时,实际被激活的专家模型参数仅约37B,算力需求降低至传统架构的约二十分之一。

国内大模型竞逐MoE技术高地 科大讯飞推出业界首个国产算力训推方案

  MoE架构虽然能有效降低算力消耗,但在分布式训练过程中,仍然面临着跨设备通信开销巨大的挑战。有鉴于此,字节跳动豆包大模型团队于3月10日推出了针对MoE架构的通信优化系统COMET。据介绍,该系统采用细粒度计算与通信重叠技术,在大规模MoE模型上实现了单层1.96倍的加速效果,端到端平均效率也提升了1.71倍。

  在这场技术角逐中,另一互联网巨头阿里巴巴也通过开源策略持续扩大声量。3月6日,阿里云发布并开源了全新的推理模型通义千问QwQ-32B。阿里云称,该模型采用密集架构(Dense),尽管参数仅为32B,但性能却能与满血版DeepSeek R1这类混合专家模型(MoE)相媲美。

  诚然,DeepSeek等国产大型模型在算法上实现了诸多引领行业的创新,并且都选择了开源,但它们背后所依赖的仍然是英伟达提供的强大算力。而作为发布国内唯一基于全国产化算力训推大模型的企业,科大讯飞则始终将重心放在国产算力的创新突破上。

  近日,科大讯飞与华为在国产算力领域取得重大进展,双方联合团队率先突破国产算力集群上MoE模型的大规模跨节点专家并行集群推理,这是继DeepSeek公布其MoE模型训练推理方案后,业界首个基于国产算力的全新解决方案。

  通过算子融合、混合并行策略和通信计算并行优化等一系列创新,科大讯飞在国产算力上实现了显著性能提升:单卡静态内存占用缩减至双机部署的1/4,效率提升75%,专家计算密度增加4倍,推理吞吐提升3.2倍,端到端时延降低50%。科大讯飞称,这一解决方案将应用于讯飞星火深度推理模型X1的训练加速,预期训练时推理效率将提升200%。

  从DeepSeek点燃开源之火,到字节、阿里争相技术共享,再到科大讯飞实现国产算力突破,国内MoE赛道已形成“效率迭代”与“自主可控”的双重叙事。开源模式虽对企业直接创收有影响,却能通过生态共建降低研发成本、扩大市场份额;而国产算力突破则关乎技术主权与供应链安全,在AI基础设施竞争白热化的当下,战略意义同样毋庸置疑。

本站非盈利性质,内容来源于互联网。

相关文章

欧洲汽车股下挫 特朗普计划将加拿大钢铝关税翻倍

欧洲汽车股下挫 特朗普计划将加拿大钢铝关税翻倍

  欧洲汽车股延续跌势,此前美国总统唐纳德·特朗普称将把对加拿大钢和铝加征的关税翻倍至50%。   注:特朗普:周三起将把对加拿大钢和铝加征的关税翻倍至50%   美股金属板块股价上涨,汽车股下跌...

:劳斯莱斯报价-超越豆包后再超DeepSeek,腾讯元宝登顶苹果免费下载榜

:劳斯莱斯报价-超越豆包后再超DeepSeek,腾讯元宝登顶苹果免费下载榜

3月3日晚间,腾讯元宝App在苹果中国区应用商店免费App下载排行榜升至第一,超越DeepSeek,而豆包位居第四。 此前2月22日,腾讯元宝超越豆包,升至苹果应用商店中国区免费APP...

:奥迪a4l新车报价2023款官方指导价-东莞回应“废旧动力电池拆解乱象”:已对2家企业立案调查

3月14日晚上,由广东广播电视台、南方财经全媒体集团联合举办的2025“广东3·15晚会”播出《新闻调查:动力电池报废都去哪了?》,报道了东莞黄江、清溪、塘厦镇部分废旧电池回收加工厂暴力拆解废旧电池的...

期货和股票有什么相同点?期货和股票的相似之处有哪些影响?

期货和股票有什么相同点?期货和股票的相似之处有哪些影响?

期货和股票作为金融市场中常见的投资工具,存在着一些相同点,这些相似之处对投资者的决策和市场的运行都产生了一定的影响。首先,两者都具有风险和收益的特性。无论是期货还是股票,投资者在参与时都面临着潜在的损...

:兰德酷路泽2023-以色列与黎巴嫩同意就两国陆地边界进行谈判

:兰德酷路泽2023-以色列与黎巴嫩同意就两国陆地边界进行谈判

以色列总理办公室3月11日发表声明称,以色列、黎巴嫩、美国和法国四方代表当天在黎巴嫩南部纳库拉举行会谈,讨论以色列与黎巴嫩的陆地边界相关问题。声明称,各方同意将成立三个小组,分别讨论以色列在黎南部控制...

:大众君越价格及图片-北马其顿一夜总会发生火灾造成至少50人死亡

斯科普里消息:据北马其顿当地媒体报道,该国科查尼市一家夜总会16日凌晨发生火灾,造成至少50人死亡,多人受伤。当地媒体援引马其顿内政部的消息说,火灾发生时约有1500人在这家夜总会参加音乐会,火势迅速...