清华团队开源“赤兔Chitu”推理引擎,宣布打破英伟达“绑定”困境

admin2天前体育2

  新浪科技讯 3月14日下午消息,清华大学高性能计算研究所翟季冬教授团队与清华系创企清程极智联合宣布,大模型推理引擎“赤兔Chitu”正式开源。据悉,该引擎实现在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型,打破“硬件绑定”困境,为国产AI芯片的广泛应用和生态建设带来了新的突破。

  DeepSeek的发展推动了FP8精度模型成为行业主流,随着DeepSeek的持续火热, 企业大模型私有化部署的需求也呈现井喷态势。然而,当前全球领先的FP8模型长期依赖英伟达H系列高端GPU,这使得国内企业在部署大模型时受限于AI芯片供应获取的限制。

  据悉,此次开源的“赤兔”推理引擎通过底层技术革新,首次实现了非H卡设备(包括英伟达Hopper架构之前的GPU卡及各类国产卡)对原生FP8模型的高效部署,摆脱对特定硬件的依赖,降低了企业部署AI模型的门槛和成本。

  在首期开源版本中,赤兔引擎部署DeepSeek-R1-671B满血版时,在A800集群的测试中,相比部分国外开源框架,GPU使用量减少50%的情况下推理速度仍有3.15倍提速。这意味着企业可以用更少的硬件资源获得更高的推理性能,极大降低了部署门槛和运营成本。而且,在帮助企业降本增效的同时,赤兔引擎的技术可实现模型效果不受损。

  目前,赤兔引擎目标建立覆盖从纯CPU到大规模集群的全场景大模型部署需求,适配英伟达多款GPU及多款国产芯片。为帮助企业提供开箱即用的部署方案及专业运维服务,清程极智还推出了基于赤兔的“推理一体机”,进一步简化企业AI落地流程。  

  清华大学翟季冬教授强调,赤兔凝结了团队多年并行计算与编译优化技术积累,目标是“弥合先进模型与多样化硬件之间的差距,让国产算力真正‘跑起来’,为中国大模型产业落地提供关键支撑”。清程极智CEO汤雄超表示:“赤兔的定位是成为连接多元算力与大模型应用的桥梁。我们不仅支持英伟达全系列GPU,还针对国产芯片深度优化,未来将陆续开源适配版本。”(文猛)

清华团队开源“赤兔Chitu”推理引擎,宣布打破英伟达“绑定”困境

本站非盈利性质,内容来源于互联网。

相关文章

如何分析工行纸黄金的价格动态?这种价格动态受哪些因素制约?

如何分析工行纸黄金的价格动态?这种价格动态受哪些因素制约?

工行纸黄金价格动态的分析及制约因素在金融投资领域,工行纸黄金作为一种常见的投资品种,其价格动态备受关注。要准确分析工行纸黄金的价格走势,需要综合考虑多个因素。首先,全球经济形势是影响工行纸黄金价格的重...

:野马二手车价格多少-又一跨国汽车零部件公司在华积极推动新能源转型

:野马二手车价格多少-又一跨国汽车零部件公司在华积极推动新能源转型

界面新闻记者 | 杨诗涵 又一家跨国汽车零部件公司在中国加码新能源转型业务。汽车热管理与流体系统解决方案供应商邦迪汽车系统(TI Fluid Systems)宣布,正式推出专为纯电动汽车研发的...

吴清:将进一步提高公募基金3年期以上的长周期考核制度

专题:十四届全国人大三次会议举行经济主题记者会 五位部长回答中外记者提问   炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!   3月6日,证监会主席吴清在十四届全国人大三次...

3月11日增减持汇总:陕西能源等2股增持 永辉超市等11股减持(表)

3月11日增减持汇总:陕西能源等2股增持 永辉超市等11股减持(表)

  据统计,3月11日,包括陕西能源、邦基科技在内的2家A股上市公司披露增持情况。包括殷图网联、天地数码、中兰环保、润普食品、巨星农牧、永辉超市、容大感光、西典新能、江苏神通、正帆科技、禾川科技在内的...

啄木鸟40%抽佣背后:维修后发生爆炸、起火!平台甩锅维修员?

啄木鸟40%抽佣背后:维修后发生爆炸、起火!平台甩锅维修员?

专题:共筑满意消费——聚焦2025 “315晚会”   炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!   来源:时代周报-时代在线   2025年央视315晚会曝光了家电维...

红利资产又香了!恒指近5日累跌逾1400点 煤炭银行等高息股“拒绝回调”

红利资产又香了!恒指近5日累跌逾1400点 煤炭银行等高息股“拒绝回调”

  来源:财联社   恒指自上周触及阶段新高后,近5日连续回调,累计下跌逾1400点。但同期银行、煤炭、石油等顺周期红利资产反而受到资金关注。   截至发稿,今日港股煤炭板块再度逆势拉升,涨幅居前。...