清华团队开源“赤兔Chitu”推理引擎,宣布打破英伟达“绑定”困境

admin2天前体育3

  新浪科技讯 3月14日下午消息,清华大学高性能计算研究所翟季冬教授团队与清华系创企清程极智联合宣布,大模型推理引擎“赤兔Chitu”正式开源。据悉,该引擎实现在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型,打破“硬件绑定”困境,为国产AI芯片的广泛应用和生态建设带来了新的突破。

  DeepSeek的发展推动了FP8精度模型成为行业主流,随着DeepSeek的持续火热, 企业大模型私有化部署的需求也呈现井喷态势。然而,当前全球领先的FP8模型长期依赖英伟达H系列高端GPU,这使得国内企业在部署大模型时受限于AI芯片供应获取的限制。

  据悉,此次开源的“赤兔”推理引擎通过底层技术革新,首次实现了非H卡设备(包括英伟达Hopper架构之前的GPU卡及各类国产卡)对原生FP8模型的高效部署,摆脱对特定硬件的依赖,降低了企业部署AI模型的门槛和成本。

  在首期开源版本中,赤兔引擎部署DeepSeek-R1-671B满血版时,在A800集群的测试中,相比部分国外开源框架,GPU使用量减少50%的情况下推理速度仍有3.15倍提速。这意味着企业可以用更少的硬件资源获得更高的推理性能,极大降低了部署门槛和运营成本。而且,在帮助企业降本增效的同时,赤兔引擎的技术可实现模型效果不受损。

  目前,赤兔引擎目标建立覆盖从纯CPU到大规模集群的全场景大模型部署需求,适配英伟达多款GPU及多款国产芯片。为帮助企业提供开箱即用的部署方案及专业运维服务,清程极智还推出了基于赤兔的“推理一体机”,进一步简化企业AI落地流程。  

  清华大学翟季冬教授强调,赤兔凝结了团队多年并行计算与编译优化技术积累,目标是“弥合先进模型与多样化硬件之间的差距,让国产算力真正‘跑起来’,为中国大模型产业落地提供关键支撑”。清程极智CEO汤雄超表示:“赤兔的定位是成为连接多元算力与大模型应用的桥梁。我们不仅支持英伟达全系列GPU,还针对国产芯片深度优化,未来将陆续开源适配版本。”(文猛)

清华团队开源“赤兔Chitu”推理引擎,宣布打破英伟达“绑定”困境

本站非盈利性质,内容来源于互联网。

相关文章

【蛋白二季报】贸易摩擦背景下的 供应压力后置

【蛋白二季报】贸易摩擦背景下的 供应压力后置

  来源:紫金天风期货研究所   【20250305】蛋白二季报:贸易摩擦背景下的供应压力后置   观点小结    贸易关税政策:从24年下半年以来,作为进口依存度较大的品种,受到中加关系、中美...

:20万左右的雷克萨斯-全国人大代表刘晓青:建议扩大长期护理保险试点范围

:20万左右的雷克萨斯-全国人大代表刘晓青:建议扩大长期护理保险试点范围

随着我国人口老龄化程度不断加深,失能老人的护理问题成为社会关注的焦点。今年全国两会,全国人大代表、江西省疾病预防控制中心主任刘晓青建议,扩大长期护理保险试点范围,进一步完善长期护理保险政策,帮助更多失...

:东风本田4s店电话号码-住出“高星”感,返乡人挤爆县城酒店

:东风本田4s店电话号码-住出“高星”感,返乡人挤爆县城酒店

林翎手指翻飞,上下滑动屏幕页面。望着眼前五花八门、听也没听过的酒店,他不禁眉头一皱,犯了难。 过了几秒后,一家“全季酒店”映入他的眼帘。作为北漂多年的金融打工人,无论出差还是旅行,全季都是林翎...

报告:液化天然气需求正在导致美国天然气库存趋紧

报告:液化天然气需求正在导致美国天然气库存趋紧

  彭博新能源财经在最新一期美国天然气月报中的预测,到今年夏末,美国的天然气库存将跌破五年区间下端。   寒冷冬季已经耗尽库存。液化天然气(LNG)原料气的需求超过产量增速,加剧了美国全国范围内的天然...

智昇集团控股完成收购土地使用权

智昇集团控股完成收购土地使用权

  智昇集团控股(08370)发布公告,于2025年3月11日,土默特左旗自然资源局(作为转让方)与内蒙古皓扬(作为受让方)订立土地使用权合同,并向内蒙古皓扬发出不动产权证书。土地收购的代价(相等于...

:日产逍客汽车价格-从大圣归来到魔童闹海:为什么中国电影总喜欢重述神话?

:日产逍客汽车价格-从大圣归来到魔童闹海:为什么中国电影总喜欢重述神话?

界面新闻记者 | 张友发 界面新闻编辑 | 姜妍 一个春节,两种封神。 在今年春节,《封神第二部:战火西岐》和《哪吒之魔童闹海》的故事都来自于《封神演义》。早在春节档上映前,就有媒体...