清华团队开源“赤兔Chitu”推理引擎,宣布打破英伟达“绑定”困境

admin2天前体育4

  新浪科技讯 3月14日下午消息,清华大学高性能计算研究所翟季冬教授团队与清华系创企清程极智联合宣布,大模型推理引擎“赤兔Chitu”正式开源。据悉,该引擎实现在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型,打破“硬件绑定”困境,为国产AI芯片的广泛应用和生态建设带来了新的突破。

  DeepSeek的发展推动了FP8精度模型成为行业主流,随着DeepSeek的持续火热, 企业大模型私有化部署的需求也呈现井喷态势。然而,当前全球领先的FP8模型长期依赖英伟达H系列高端GPU,这使得国内企业在部署大模型时受限于AI芯片供应获取的限制。

  据悉,此次开源的“赤兔”推理引擎通过底层技术革新,首次实现了非H卡设备(包括英伟达Hopper架构之前的GPU卡及各类国产卡)对原生FP8模型的高效部署,摆脱对特定硬件的依赖,降低了企业部署AI模型的门槛和成本。

  在首期开源版本中,赤兔引擎部署DeepSeek-R1-671B满血版时,在A800集群的测试中,相比部分国外开源框架,GPU使用量减少50%的情况下推理速度仍有3.15倍提速。这意味着企业可以用更少的硬件资源获得更高的推理性能,极大降低了部署门槛和运营成本。而且,在帮助企业降本增效的同时,赤兔引擎的技术可实现模型效果不受损。

  目前,赤兔引擎目标建立覆盖从纯CPU到大规模集群的全场景大模型部署需求,适配英伟达多款GPU及多款国产芯片。为帮助企业提供开箱即用的部署方案及专业运维服务,清程极智还推出了基于赤兔的“推理一体机”,进一步简化企业AI落地流程。  

  清华大学翟季冬教授强调,赤兔凝结了团队多年并行计算与编译优化技术积累,目标是“弥合先进模型与多样化硬件之间的差距,让国产算力真正‘跑起来’,为中国大模型产业落地提供关键支撑”。清程极智CEO汤雄超表示:“赤兔的定位是成为连接多元算力与大模型应用的桥梁。我们不仅支持英伟达全系列GPU,还针对国产芯片深度优化,未来将陆续开源适配版本。”(文猛)

清华团队开源“赤兔Chitu”推理引擎,宣布打破英伟达“绑定”困境

本站非盈利性质,内容来源于互联网。

相关文章

:东风标致207价格表-住建部:2019年实施城市更新以来已累计改造城镇老旧小区28万个

3月9日下午,十四届全国人大三次会议在梅地亚中心举行民生主题记者会,邀请民政部部长陆治原、人力资源和社会保障部部长王晓萍、住房和城乡建设部部长倪虹、国家卫生健康委员会主任雷海潮就民政、就业和社会保障、...

红利资产又香了!恒指近5日累跌逾1400点 煤炭银行等高息股“拒绝回调”

红利资产又香了!恒指近5日累跌逾1400点 煤炭银行等高息股“拒绝回调”

  来源:财联社   恒指自上周触及阶段新高后,近5日连续回调,累计下跌逾1400点。但同期银行、煤炭、石油等顺周期红利资产反而受到资金关注。   截至发稿,今日港股煤炭板块再度逆势拉升,涨幅居前。...

汽车车漆开裂的原因是什么?出现车漆开裂该如何处理?

汽车车漆开裂的原因是什么?出现车漆开裂该如何处理?

汽车车漆开裂是一个让车主颇为头疼的问题,其原因较为复杂。首先,长期暴露在恶劣的环境中是常见的诱因。比如,强烈的阳光照射会使车漆老化,紫外线会破坏车漆中的有机成分,导致车漆失去弹性和光泽,进而出现开裂。...

浅析专项债助力养老产业发展

浅析专项债助力养老产业发展

登录新浪财经APP 搜索【信披】查看更多考评等级   ◇ 作者:广州银行金融市场部交易员 徐茁   广州银行金融市场部经理 芮安卿   ◇ 本文原载《债券》2025年2月刊   摘   要   本文梳...

又跌了!飞天茅台多个年份产品批发参考价全线走低

  投资快报   记者茅宁   飞天茅台又全线下跌了!3月13日,第三方平台“今日酒价”披露的最新批发参考价显示,当日,25年飞天茅台原箱报2225元/瓶,较前一日下跌10元;25年飞天茅台散瓶报22...

上交所出手!分红若不积极,扣分!

登录新浪财经APP 搜索【信披】查看更多考评等级   近日,上交所修订发布《上海证券交易所上市公司自律监管指引第9号——信息披露工作评价(2025年3月修订)》(以下简称《评价指引》),并自发布之日起...