国内大模型竞逐MoE技术高地 科大讯飞推出业界首个国产算力训推方案

admin4天前商业5

  炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!

  大模型训练的高成本始终是行业痛点,而混合专家模型(MoE)因其“稀疏激活”特性成为降本增效的关键路径。随着DeepSeek R1开源引爆技术热潮,字节、阿里以及科大讯飞等国内主流大模型企业纷纷加码MoE架构创新,从通信优化到国产算力适配,一场围绕效率与生态的竞逐赛已然展开。

  3月1日,DeepSeek发布了“开源周”后的“彩蛋”,首次公布了模型降本增效的技术细节以及理论上高达545%的利润率。“彩蛋”显示,DeepSeek的671B参数模型在处理每个问题时,实际被激活的专家模型参数仅约37B,算力需求降低至传统架构的约二十分之一。

国内大模型竞逐MoE技术高地 科大讯飞推出业界首个国产算力训推方案

  MoE架构虽然能有效降低算力消耗,但在分布式训练过程中,仍然面临着跨设备通信开销巨大的挑战。有鉴于此,字节跳动豆包大模型团队于3月10日推出了针对MoE架构的通信优化系统COMET。据介绍,该系统采用细粒度计算与通信重叠技术,在大规模MoE模型上实现了单层1.96倍的加速效果,端到端平均效率也提升了1.71倍。

  在这场技术角逐中,另一互联网巨头阿里巴巴也通过开源策略持续扩大声量。3月6日,阿里云发布并开源了全新的推理模型通义千问QwQ-32B。阿里云称,该模型采用密集架构(Dense),尽管参数仅为32B,但性能却能与满血版DeepSeek R1这类混合专家模型(MoE)相媲美。

  诚然,DeepSeek等国产大型模型在算法上实现了诸多引领行业的创新,并且都选择了开源,但它们背后所依赖的仍然是英伟达提供的强大算力。而作为发布国内唯一基于全国产化算力训推大模型的企业,科大讯飞则始终将重心放在国产算力的创新突破上。

  近日,科大讯飞与华为在国产算力领域取得重大进展,双方联合团队率先突破国产算力集群上MoE模型的大规模跨节点专家并行集群推理,这是继DeepSeek公布其MoE模型训练推理方案后,业界首个基于国产算力的全新解决方案。

  通过算子融合、混合并行策略和通信计算并行优化等一系列创新,科大讯飞在国产算力上实现了显著性能提升:单卡静态内存占用缩减至双机部署的1/4,效率提升75%,专家计算密度增加4倍,推理吞吐提升3.2倍,端到端时延降低50%。科大讯飞称,这一解决方案将应用于讯飞星火深度推理模型X1的训练加速,预期训练时推理效率将提升200%。

  从DeepSeek点燃开源之火,到字节、阿里争相技术共享,再到科大讯飞实现国产算力突破,国内MoE赛道已形成“效率迭代”与“自主可控”的双重叙事。开源模式虽对企业直接创收有影响,却能通过生态共建降低研发成本、扩大市场份额;而国产算力突破则关乎技术主权与供应链安全,在AI基础设施竞争白热化的当下,战略意义同样毋庸置疑。

本站非盈利性质,内容来源于互联网。

相关文章

见证历史!332家上市公司春节前派发超3400亿元“大红包”,A股一年多次分红渐成常态

  每经记者 王海慜  陈晨  李凯    每经编辑 彭水萍   3月6日,证监会主席吴清在十四届全国人大三次会议经济主题记者会上透露,2024年全市场分红总额达2.4万亿元,创历史新高。超300家上...

如何妥善处理异地车交罚款问题?处理异地车交罚款有哪些方法?

如何妥善处理异地车交罚款问题?处理异地车交罚款有哪些方法?

在异地驾驶车辆,难免会遇到交通违章需要交罚款的情况。妥善处理异地车交罚款问题对于车主来说至关重要。首先,我们来了解一下常见的处理异地车交罚款的方式。通过线上平台处理是目前较为便捷的方法之一。例如,部分...

:女人适合开马自达哪一款-地方新闻精选 | 江苏生育津贴不用准备材料直接到账 东北2名巡护员被黑熊袭击

:女人适合开马自达哪一款-地方新闻精选 | 江苏生育津贴不用准备材料直接到账 东北2名巡护员被黑熊袭击

界面新闻记者 | 翟瑞民 【江苏】15条措施促进生育:生育津贴不用准备材料直接到账 据荔枝新闻消息,江苏台夫妻档主持人苑逸伦和方蕾介绍最新生育政策称,近日,江苏省推出了15条旨在促进生育...

美国法官命令政府效率部和马斯克提交成本削减记录

美国法官命令政府效率部和马斯克提交成本削减记录

  一位美国法官已下令埃隆·马斯克及其政府效率部门(DOGE)提交各种记录并回答问题,以说明他们在削减联邦开支方面所作的努力。   华盛顿特区美国地区法官塔尼娅·查特坎(Tanya Chutkan)...

险资“解锁”AIC股权投资 支持实体经济再添新路径

  本报记者 冷翠华   见习记者 杨笑寒   为更好发挥股权投资对科技创新和民营企业发展的支持作用,近日,国家金融监督管理总局发布《关于进一步扩大金融资产投资公司股权投资试点的通知》(以下简称《通知...

大阪世博会马上开幕 日本官方展示吉祥物:网友吐槽声一片 丑到没朋友

大阪世博会马上开幕 日本官方展示吉祥物:网友吐槽声一片 丑到没朋友

快科技3月12日消息,距离2025大阪关西世博会开幕还有1个多月的时间,而现在日本官方放出了梦洲会场门口的17米高达立像与吉祥物脉脉的合影。 这也引发了网友的吐槽,因为大部分觉得太丑了。 日本2025...