AI 革命如火如荼,為企業帶來新的機遇,每次客戶互動、每件產品和每項服務都將融入 AI 并借助 AI 實現改進。多年來,GPU 已經證明能夠非常有效地解決某些極為復雜的深度學習問題,而且 NVIDIA 深度學習平臺也逐漸成為業界標準的訓練解決方案,但其推理能力并非廣為人知。早在2016年NVIDIA就推出了支持高性能深度學習推理加速引擎——TensorRT。TensorRT是一個高性能的深度學習推理(Inference)優化器。經過幾個版本的迭代,TensorRT可以為深度學習應用提供低延遲、高吞吐率的部署推理。為了讓更多的AI開發者們迅速掌握NVIDIA高性能加速工具TensorRT,2021年3月20日,英偉達聯合阿里云和英邁中國,面向全國開發者們發起TensorRT加速AI推理Hackathon 2021大賽。
本次大賽吸引了48支隊伍245名選手參與報名,經過方案初選,共有37支隊伍入圍決賽,入圍團隊有來自知名互聯網公司、無人駕駛方案公司、智能家電公司,也有來自高等院校及研究單位。在接下來的20多天時間里,參賽團隊利用TensorRT工具,在阿里云提供的GPU云平臺上完成優化自己所選深度學習模型的比賽任務。同時,NVIDIA組建了一支由工程師組成的導師團隊,為每個參賽隊伍配備了2名NVIDIA開發工程師,在線指導參賽隊員利用TensorRT優化和部署模型。
4月30日,所有參賽隊伍提交代碼托管平臺鏈接和項目報告書,并通過在線的方式向導師演示阿里云平臺的數據測試結果。緊接著,NVIDIA組織核心技術評審團隊,通過TensorRT 加速技術路線比較、性能比較、創新性、可擴展性及實用性等幾個方面考察每個團隊的參賽模型。最終于5月21日公布比賽結果。
NVIDIA開發與技術亞太區總監,同時也是本次大賽評審團負責人李曦鵬說:“第一屆TensorRT黑客松大賽非常精彩,我們看到了不少眼前一亮的模型方案。有幾個隊伍甚至發現了TensorRT 的bug,可以協助我們完善TensorRT的開發工作。“
李曦鵬表示,“人工智能應用場景創新日新月異,AI模型的開發與部署也需要注入了新的動能。NVIDIA構建TensorRT的初衷就是為了進一步將人工智能推向更為廣闊的應用場景。今天,看到各位參賽選手們基于TensorRT加速引擎挖掘出了更多的潛能和功能需求,我感到非常開心和激動。不忘初心,牢記使命,我們希望與更多優秀的開發者們一起,共同推進TensorRT的發展,讓AI在GPU上更容易、更高效地部署。“
很多參賽隊伍均表達了在參賽過程中有導師指導的重要性。
來自佳訊飛鴻智能科技研究院的團隊負責人表示:“在NVIDIA導師的幫助下,提高了自己對TensorRT的認識,對于模型落地,又有了新的思路。”
來自上海高重科技有限公司,也是本次大賽一等獎團隊成員表示:“很不錯的一次實踐體驗,感謝NVIDIA的導師和組織者,從前期的基礎知識培訓到項目的具體實施,對自己的成長很有幫助。”
來自香港理工大學的團隊負責人表示:“很棒的比賽,讓我們的科研與實踐能力都得到鍛煉,希望以后還能有更多類似的比賽。”