国内大模型竞逐MoE技术高地 科大讯飞推出业界首个国产算力训推方案

admin3天前商业2

  炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!

  大模型训练的高成本始终是行业痛点,而混合专家模型(MoE)因其“稀疏激活”特性成为降本增效的关键路径。随着DeepSeek R1开源引爆技术热潮,字节、阿里以及科大讯飞等国内主流大模型企业纷纷加码MoE架构创新,从通信优化到国产算力适配,一场围绕效率与生态的竞逐赛已然展开。

  3月1日,DeepSeek发布了“开源周”后的“彩蛋”,首次公布了模型降本增效的技术细节以及理论上高达545%的利润率。“彩蛋”显示,DeepSeek的671B参数模型在处理每个问题时,实际被激活的专家模型参数仅约37B,算力需求降低至传统架构的约二十分之一。

国内大模型竞逐MoE技术高地 科大讯飞推出业界首个国产算力训推方案

  MoE架构虽然能有效降低算力消耗,但在分布式训练过程中,仍然面临着跨设备通信开销巨大的挑战。有鉴于此,字节跳动豆包大模型团队于3月10日推出了针对MoE架构的通信优化系统COMET。据介绍,该系统采用细粒度计算与通信重叠技术,在大规模MoE模型上实现了单层1.96倍的加速效果,端到端平均效率也提升了1.71倍。

  在这场技术角逐中,另一互联网巨头阿里巴巴也通过开源策略持续扩大声量。3月6日,阿里云发布并开源了全新的推理模型通义千问QwQ-32B。阿里云称,该模型采用密集架构(Dense),尽管参数仅为32B,但性能却能与满血版DeepSeek R1这类混合专家模型(MoE)相媲美。

  诚然,DeepSeek等国产大型模型在算法上实现了诸多引领行业的创新,并且都选择了开源,但它们背后所依赖的仍然是英伟达提供的强大算力。而作为发布国内唯一基于全国产化算力训推大模型的企业,科大讯飞则始终将重心放在国产算力的创新突破上。

  近日,科大讯飞与华为在国产算力领域取得重大进展,双方联合团队率先突破国产算力集群上MoE模型的大规模跨节点专家并行集群推理,这是继DeepSeek公布其MoE模型训练推理方案后,业界首个基于国产算力的全新解决方案。

  通过算子融合、混合并行策略和通信计算并行优化等一系列创新,科大讯飞在国产算力上实现了显著性能提升:单卡静态内存占用缩减至双机部署的1/4,效率提升75%,专家计算密度增加4倍,推理吞吐提升3.2倍,端到端时延降低50%。科大讯飞称,这一解决方案将应用于讯飞星火深度推理模型X1的训练加速,预期训练时推理效率将提升200%。

  从DeepSeek点燃开源之火,到字节、阿里争相技术共享,再到科大讯飞实现国产算力突破,国内MoE赛道已形成“效率迭代”与“自主可控”的双重叙事。开源模式虽对企业直接创收有影响,却能通过生态共建降低研发成本、扩大市场份额;而国产算力突破则关乎技术主权与供应链安全,在AI基础设施竞争白热化的当下,战略意义同样毋庸置疑。

本站非盈利性质,内容来源于互联网。

相关文章

一男子火车上持刀威胁 德国警方截停列车疏散上百名乘客

一男子火车上持刀威胁 德国警方截停列车疏散上百名乘客

  当地时间3月11日,一列自德国科隆开往柏林的城市间快速列车在行驶途中被警方截停。警方在车上逮捕了一名44岁的阿富汗籍男子,他在火车上挥舞刀具威胁乘客并自称身上还有其他危险物品。当时火车上共有约3...

CRO概念股早盘持续走高 维亚生物及药明生物均涨超12%

CRO概念股早盘持续走高 维亚生物及药明生物均涨超12%

  CRO概念早盘持续走高,维亚生物(01873)上涨12.59%,报1.61港元;药明生物(02269)上涨12.01%,报26.10港元;康龙化成(03759)上涨7.12%,报16.26港元;...

30余家沪市公司发布增持回购公告,回购上限已超52亿

30余家沪市公司发布增持回购公告,回购上限已超52亿

  沪市公司增持回购刷屏!3月11日晚间,超30家沪市公司发布增持回购相关公告。   业内人士认为,增持回购背后,是公司对自身价值的底气,一方面彰显了“志在必得”的决心,另一方面也是真金白银为市场标...

:suv车-华为整顿“违规招聘”,多名产品线负责人被开除

财联社 3 月 11 日电,华为内部通报,在招聘非雇员过程中,多名产品线负责人存在自身参与替考、安排别人代考、向候选人泄题等违规行为;亦有多人存在通过出卖公司信息资产获利的情况。经研究,对涉事人员予以...

云图控股:不存在逾期债务对应的担保

证券日报网讯3月7日晚间,云图控股发布公告称,截至本公告日,公司及子公司获批的担保总额不超过150亿元,公司及子公司对外担保余额为111.64亿元,占公司最近一年经审计净资产(按公司2023年度经审计...

什么叫扫盘?这种市场行为如何影响股票价格波动?

什么叫扫盘?这种市场行为如何影响股票价格波动?

在金融市场中,“扫盘”是一个常见但又颇为关键的概念。 扫盘,简单来说,指的是在证券交易市场中,一方以较大的手笔、较高的价格快速买入大量的股票,使得市场上的卖盘在短时间内被迅速清空。扫盘这种市场行为对股...