在探討大模型對科學發現的助力時，其“幻覺問題”似乎并不構成障礙，反而成為了一種優勢。然而，在自動駕駛，尤其是L4級高安全要求的場景中，這一問題卻成為了亟待解決的難題。
具體到自動駕駛的錯誤率，華為在《云計算2030》報告中指出，L3級自動駕駛的容錯率為0.1-1%，而L4級則要求更為嚴苛，容錯率需在0.0001-0.001%之間。這一數據為我們提供了衡量當前大模型性能的重要參考。
近年來，隨著模型參數量的增加、訓練數據的豐富以及新方法的引入，大模型的準確率確實在穩步提升。例如，GPT3在2020年問世時錯誤率約為40%，而到了2022年底，GPT3.5的錯誤率已降至20%，GPT4更是進一步將錯誤率降低到了10%。然而，即便如此，與L4級自動駕駛所需的容錯率相比，仍然存在著顯著的差距。
這種差距在理想汽車的實踐中得到了體現。理想汽車曾嘗試將LLM改造為視覺語言模型DriveVLM，并應用于自動駕駛系統。然而，在直播測試中，該系統卻出現了公然逆行的錯誤，暴露了模型輸出錯誤率依然較高的問題。盡管DriveVLM在阿里巴巴的Qwen-VL或meta的LLaMA2-3B基礎上進行了額外的訓練和優化，但準確率的提升仍然有限。
自動駕駛系統不僅需要高準確率，還需要在復雜車流環境中實現實時決策。這就要求模型的運行頻率至少要在十幾赫茲以上。然而，目前理想汽車的視覺語言模型DriveVLM的運行頻率僅為3.3赫茲，無法滿足實時軌跡規劃的需求。
對于如何提升自動駕駛大模型的性能和實時性，業界存在著不同的看法。有人認為，通過升級硬件，如將自動駕駛芯片從Orin升級為英偉達的Thor，可以顯著提升模型的運行頻率。然而，這種觀點忽視了模型參數量對性能的影響。目前，理想汽車的視覺語言模型DriveVLM的參數量僅為22億，遠低于實現L4級自動駕駛所需的參數量。
相比之下，特斯拉的FSD模型在參數規模上更為龐大。據特斯拉透露，其FSD模型的參數量已經從V12.4版本的10億增加到V13版本的數百億級別。這種參數量的提升為特斯拉的自動駕駛系統提供了更強的性能和更高的準確性。
另一方面，本土智駕企業在自動駕駛大模型上的實踐也取得了一定的進展。他們利用頭部AI企業開源的具備圖像理解能力的多模態大模型，結合駕駛場景進行微調訓練，開發出了自家的視覺語言智駕大模型。這些模型具備圖文識別能力和一定的場景理解能力，可以用于識別潮汐車道、公交車道等交通標識，并給出相應的駕駛建議。
然而，這些視覺語言模型仍然存在著局限性。它們主要基于2D圖像輸入進行后融合處理，缺乏真正的空間理解能力。要實現精準的空間理解，需要同時輸入車前、車后、左右等多個攝像頭的圖像輸入，并在3D視角下進行綜合判斷。這正是BEV前融合技術的價值所在。因此，盡管生成式AI大模型為自動駕駛帶來了新的可能性，但要真正提升自動駕駛能力，仍然需要克服許多技術和實踐上的挑戰。
