【ITBEAR科技資訊】7月19日消息，商湯科技在智能汽車領(lǐng)域取得了重大突破。商湯科技聯(lián)合創(chuàng)始人、首席科學(xué)家王曉剛在17日宣布，商湯絕影已成功在行業(yè)內(nèi)率先實(shí)現(xiàn)原生多模態(tài)大模型的車端部署。這一創(chuàng)新技術(shù)的推出，標(biāo)志著智能汽車在人工智能領(lǐng)域邁出了重要一步。
據(jù)了解，商湯絕影的車載端側(cè)8B模型在性能上表現(xiàn)出色，首包延遲控制在300毫秒以內(nèi)，同時推理速度高達(dá)40 Tokens/秒，該技術(shù)還能夠覆蓋主流算力平臺。為了支持這一強(qiáng)大功能，商湯絕影專門開發(fā)了名為“HyperPPL”的計算引擎。該引擎不僅擴(kuò)展并支持了主流車載計算硬件，還兼容多種主流操作系統(tǒng)，并能適配多個車載芯片的部署平臺。
HyperPPL針對車載多人場景進(jìn)行了優(yōu)化。這意味著，在車內(nèi)多人并發(fā)使用的情況下，車端多模態(tài)大模型的推理效率并不會明顯降低，從而確保了用戶體驗的流暢性。
據(jù)ITBEAR科技資訊了解，商湯絕影的技術(shù)實(shí)力已得到實(shí)際應(yīng)用驗證。深圳首條自動駕駛公交線路便采用了商湯絕影的車輛與技術(shù)，實(shí)現(xiàn)了所有駕駛操作的無人員介入。這一成就不僅彰顯了商湯絕影在自動駕駛技術(shù)領(lǐng)域的領(lǐng)先地位，也為未來智能交通的發(fā)展提供了有力支持。
展望未來，隨著技術(shù)的不斷進(jìn)步，更高算力的車載芯片即將問世。據(jù)悉，明年英偉達(dá)將推出上千TOPS算力的車載芯片。基于這一更高算力的計算平臺，商湯絕影預(yù)計其多模態(tài)大模型車端部署方案的首包延遲將大幅降低，同時推理速度也將進(jìn)一步提高。
