近期，清華大學高性能計算研究所傳來重大消息，翟季冬教授團隊攜手清華背景的科創先鋒清程極智，共同揭曉了一項開源大模型推理引擎——“赤兔Chitu”。這一創新成果為國產AI芯片的普及應用和生態建設鋪設了新的道路。
“赤兔Chitu”實現了在非英偉達Hopper架構GPU及多種國產芯片上直接運行FP8精度模型的歷史性突破，打破了此前FP8精度模型對英偉達Hopper架構（例如H100/H200）的硬件束縛，為行業帶來了更多選擇。
在A800集群的實際測試中，“赤兔”引擎展現了驚人的性能。在GPU使用量減半的情況下，推理速度卻提升了3.15倍，這一成果不僅大幅降低了企業的硬件投入成本，還顯著提升了運算效率。
“赤兔”引擎的智能優化技術具備強大的兼容性，能夠迅速適應不同的芯片架構。這意味著國產硬件廠商無需再投入大量資源進行軟件重復開發，可以將更多精力集中在硬件的升級與優化上。目前，清程極智已經與沐曦、燧原等領先廠商攜手，推出了即插即用的推理一體機，在金融、醫療等多個領域得到了廣泛應用。
清程極智的CEO湯雄超強調，目前國內在推理引擎這一關鍵環節上，仍然缺乏達到生產級標準的開源產品?！俺嗤谩币娴拈_源，是推動國內AI生態建設的關鍵一步，它將為行業帶來更加高效、靈活的技術支撐，助力行業實現更快發展。
