【ITBEAR】9月25日消息,今日,百度云智大會順利舉行,會上,百度智能云宣布其百舸AI異構計算平臺已成功升級至4.0版本,標志著該平臺在技術與性能上邁出了重要一步。
據ITBEAR了解,百舸4.0版本的重點升級在于“多芯混訓”能力,現已實現在萬卡規模集群上達到95%的多芯混合訓練效能,顯著提升了訓練效率。此外,在集群部署環節,升級后的百舸平臺展現出了卓越的性能,能夠將萬卡集群的運行準備時間從數周縮短至最快1小時,極大地提高了部署效率。
針對大模型訓練過程中常見的故障問題,百舸4.0也進行了全面的優化。通過升級故障檢測手段和自動容錯機制,該平臺有效降低了故障發生的頻次,并大幅減少了集群故障的處理時間,確保了萬卡集群上超過99.5%的有效訓練時長。
在模型推理方面,百舸4.0版本同樣帶來了顯著的優化。通過對推理速度和成本的全面調整,該平臺的長文本推理效率提升了1倍以上,為用戶提供了更加高效、經濟的推理解決方案。
此次百舸AI異構計算平臺的升級,無疑將進一步推動AI技術的發展與應用,為用戶提供更加高效、穩定的計算服務。
#百度智能云# #百舸AI異構計算平臺# #多芯混訓# #模型推理# #集群部署#