清华团队开源“赤兔Chitu”推理引擎,宣布打破英伟达“绑定”困境

admin2天前体育5

  新浪科技讯 3月14日下午消息,清华大学高性能计算研究所翟季冬教授团队与清华系创企清程极智联合宣布,大模型推理引擎“赤兔Chitu”正式开源。据悉,该引擎实现在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型,打破“硬件绑定”困境,为国产AI芯片的广泛应用和生态建设带来了新的突破。

  DeepSeek的发展推动了FP8精度模型成为行业主流,随着DeepSeek的持续火热, 企业大模型私有化部署的需求也呈现井喷态势。然而,当前全球领先的FP8模型长期依赖英伟达H系列高端GPU,这使得国内企业在部署大模型时受限于AI芯片供应获取的限制。

  据悉,此次开源的“赤兔”推理引擎通过底层技术革新,首次实现了非H卡设备(包括英伟达Hopper架构之前的GPU卡及各类国产卡)对原生FP8模型的高效部署,摆脱对特定硬件的依赖,降低了企业部署AI模型的门槛和成本。

  在首期开源版本中,赤兔引擎部署DeepSeek-R1-671B满血版时,在A800集群的测试中,相比部分国外开源框架,GPU使用量减少50%的情况下推理速度仍有3.15倍提速。这意味着企业可以用更少的硬件资源获得更高的推理性能,极大降低了部署门槛和运营成本。而且,在帮助企业降本增效的同时,赤兔引擎的技术可实现模型效果不受损。

  目前,赤兔引擎目标建立覆盖从纯CPU到大规模集群的全场景大模型部署需求,适配英伟达多款GPU及多款国产芯片。为帮助企业提供开箱即用的部署方案及专业运维服务,清程极智还推出了基于赤兔的“推理一体机”,进一步简化企业AI落地流程。  

  清华大学翟季冬教授强调,赤兔凝结了团队多年并行计算与编译优化技术积累,目标是“弥合先进模型与多样化硬件之间的差距,让国产算力真正‘跑起来’,为中国大模型产业落地提供关键支撑”。清程极智CEO汤雄超表示:“赤兔的定位是成为连接多元算力与大模型应用的桥梁。我们不仅支持英伟达全系列GPU,还针对国产芯片深度优化,未来将陆续开源适配版本。”(文猛)

清华团队开源“赤兔Chitu”推理引擎,宣布打破英伟达“绑定”困境

本站非盈利性质,内容来源于互联网。

相关文章

机构评特朗普任内首份非农报告:对美联储影响有限

机构评特朗普任内首份非农报告:对美联储影响有限

专题:美国2月非农就业人数略低于市场预期   汇通财经APP讯——美国劳工部劳工统计局周五(3月7日)公布的就业报告显示,2月非农就业人口增加15.1万人,1月非农就业人口下修后为增加12.5万人,失...

北方国际:广发证券股份有限公司关于北方国际合作股份有限公司提前赎回北方转债的核查意见

北方国际:广发证券股份有限公司关于北方国际合作股份有限公司提前赎回北方转债的核查意见...

:宝马迷你mini最新款报价-武术史学家、教育家、中国武术九段习云泰逝世,享年90岁

澎湃新闻获悉,中国共产党党员,我国著名武术史学家、教育家、中国武术九段,“新中国体育开拓者”奖章获得者、当代中国“十大武术名教授”,国家体育总局武术研究院专家委员会专家,原成都体育学院武术系主任、教授...

早盘:美股小幅上扬 标普指数上涨0.2%

早盘:美股小幅上扬 标普指数上涨0.2%

  北京时间7日晚,美股周五早盘小幅上扬,标普500指数上涨0.2%。交易员继续关注特朗普贸易政策的不确定性。美国2月非农就业人数增加15.1万,低于市场预期,失业率升至4.1%。机构称非农报告支持...

观察|智能终端形式多样化,大模型如何加速新产品普及

MWC2025(世界移动通信大会)最火热的关键词是AI(人工智能)。来自中国的AI眼镜、AI玩具等新型的智能终端产品成为展会一道靓丽的风景,吸引海外参会人员的关注。外形跟普通眼镜没差的AI眼镜佩戴起来...

美国教育部在面临关闭之际裁员近半

美国教育部周二表示将裁员约一半。预计总统特朗普即将发布旨在解散这个由国会于1979年设立的联邦机构。教育部表示,将总共裁减1,950个职位,其中包括周二晚间宣布的裁员计划涉及的1,315名联邦雇员。教...