據外媒報道,美國專利商標局(U.S. Patent and Trademark Office)近期授予了蘋果公司一項泰坦項目專利:光場平視顯示器(light-field head up display),可在擋風玻璃上向駕駛員投射信息。
蘋果在專利中指出,汽車等車輛有時會配備平視顯示器,這種顯示器能將圖像投射到車輛的擋風玻璃上,車輛的駕駛員可以在駕駛過程中查看投影的圖像。平視顯示器通常用于顯示車輛狀態信息,如速度表信息。平視顯示器允許為駕駛員安全地顯示信息,而不需要駕駛員從前面的道路上移開目光。
為了更大限度地發揮平視顯示器在車輛環境中的作用,最好是能夠加強這種顯示器為車內人員顯示信息的能力。平視顯示器可以是一個光場顯示器,它產生的光場輸出允許觀看者觀察平視顯示器上的三維內容。光場顯示單元的陣列和相應的透鏡可用于將光場輸出導向觀看者。透鏡可以將顯示單元的重疊光場輸出引向觀看者,從而在車窗上形成一個放大的無縫光場觀看區。
圖源 | patentlyapple
蘋果公司的專利圖1是具有平視顯示器的說明性車輛的側視圖;圖2是具有平視顯示器的說明性車輛或其他系統的示意圖;圖3是車輛中的說明性平視顯示器的側視圖。
光場AR:理想中的“真AR HUD”
近年來,高級駕駛輔助技術(簡稱ADAS)和增強現實(簡稱AR)交互技術的發展,讓國內外一些頭部主機廠考慮開發虛擬和現實融合的AR HUD產品,進一步推動了HUD技術革新。由此,衍生出HUD第三代產品AR HUD(Augmented Reality Head Up Display)增強現實型抬頭顯示。
但虛擬和現實融合的AR HUD技術實現難度遠大于WHUD,不但需要開發多傳感器的融合算法,還需要空間融合算法和極致的系統延時控制,以及真正有空間縱深距離的3D光場顯示(類似3D全息顯示)技術。
理想中的光場AR顯示技術,可以在駕駛者視野前方的現實世界中,連續投射出適應不同遠近對焦距離的三維虛擬信息,從而將虛擬世界的信息和現實世界的相關物體在同一空間位置進行展示,實現虛擬與現實的完美融合,不僅能夠呈現真正意義上的AR增強現實顯示效果,還可以徹底解決視覺輻輳造成的眩暈問題。也就是說,只有這種AR虛擬成像和道路實景完美融合的“真AR HUD”,才能在不影響駕駛安全的前提下為用戶創造更多價值。
光場AR HUD效果演示
3D動畫:現實里的“假AR HUD”
業內普遍認為2021年是AR HUD的元年,盡管奔馳(S級,含邁巴赫)、大眾、奧迪等眾多國內外主機廠也陸續推出了帶有AR HUD功能的量產車型,但因供應商的技術限制,基本都放棄了最初虛擬和實景完美融合的“真AR HUD”技術構想。
現在市場中的AR HUD產品,在功能和效果上都退而求其次,采用了基于普通WHUD硬件基礎上進行開發、再疊加2D或3D UI動畫的形式,把畫面投射到視線前方7到10米左右(個別車型4.5米或10+米),根據車輛的位置,實時播放導航、ADAS等動畫和UI圖標。
具體來說,過場動畫的表現形式又稍有不同:(1)奔馳的過場動畫,采用了稍復雜的3D透視效果更好的實時渲染,有簡單的低頻光學防抖;(2)而國內的HUD產業剛剛起步,受技術、成本和認知的局限,雖然很快地對國際上的“假AR HUD”的硬件參數進行了簡單復制,但采用了更加簡陋的過場動畫,沒有光學防抖。
這種“假AR HUD”最終交互體驗的表現形式,就是飄在駕駛員視線前方的各種UI動畫,一定程度上會對駕駛產生干擾,背離了HUD產品誕生的初衷。
光場AR顯示為什么難實現?
維基百科對AR的定義包括三個要素:(1)確保真實和虛擬物體形狀位置等關鍵要素被精確地感知和呈現,從而達到(2)真實和虛擬世界的完美融合,以及(3)實時交互的效果。車載AR光學顯示系統相對AR頭顯更加復雜,眼盒大幾萬倍,且光路中的自由曲面擋風玻璃會嚴重影響顯示質量(像差、動/靜態畸變等),需要對近處幾米到遠處幾千米遠的物體進行精確地感知和呈現,并實時融合。
(1)空間坐標融合:如果AR HUD投射在幾米遠的固定距離,就無法達到空間上的融合,不僅使體驗大打折扣,而且光學距離差距太大,如果虛擬和現實物體強行融合,駕駛員會在很短的時間內產生視覺輻輳沖突,出現頭暈惡心等癥狀,影響駕駛安全。
(2)時間坐標融合:需要做到毫秒級的延時控制,比自動駕駛技術傳感器融合和決策算法延時要求高一到兩個數量級。
因此,車載AR不僅需要多傳感器融合算法來精確感知真實世界,還需要3D光場顯示技術精確呈現光場級的虛擬世界,同時結合空間多坐標系融合算法,才能達到完美的空間坐標系融合。此外,還需與“0延遲”融合算法體系結合,才能實現時間坐標的完美融合,完成實時交互。很顯然,這種精確、實時的呈現與交互,是完全沒有任何融合、過場動畫級的假AR無法比擬的。
FUTURUS獨家光場AR HUD系統
事實上,蘋果這一專利所透露的理念與未來(北京)黑科技有限公司(簡稱:FUTURUS)多年前的技術布局不謀而合。
FUTURUS作為幾大國際頭部車廠的新技術合作供應商,通過提前多年的技術布局,堅持自研路線及專利布局,進行虛擬和實景融合的“真AR HUD”產品研發,并開發出了基于3D光場的“真AR HUD”光學系統。
FUTURUS獨家光場AR HUD系統通過光學技術及整套算法體系,而非假UI或者過場動畫模擬的方式,實現了HUD畫面虛像從4米到無窮遠的連續變焦,可以真正實現光學級別的虛擬和實景道路的完美融合。同時,還解決了業內多傳感器實時融合、多空間坐標系融合、“0延遲”時間坐標系融合等諸多難題,實現了從感知到顯示的零延時響應,讓虛擬的駕駛輔助信息與真實物理環境可實時融合。而為了控制成本,同時提升可靠性和用戶體驗,實現這一切復雜數據采集的傳感器和計算的軟硬件系統,均基于車身自有傳感器和處理器,不僅更加精確、快速,也極大地降低了主機廠的額外成本。
目前,FUTURUS已經成功完成了3D光場AR HUD實車硬件的三代迭代,改裝實車已經實際路測優化了3年之久,系統、算法和軟件迭代了上百個版本,能夠很好地匹配L2、L3、L4級別輔助駕駛要求。
基于增強現實的智能汽車終局來臨
在2021年6月10-12日舉辦的中國汽車藍皮書論壇上,FUTURUS創始人、CEO徐俊峰先生就曾表示,基于增強現實技術的數字孿生互聯網將是智能汽車的發展終局。
徐俊峰在2021中國汽車藍皮書論壇作分享
隨著AR眼鏡在2022年的普及,預計在2022-2025年,基于增強現實和數字孿生的互聯網會迅速普及。蘋果、微軟、Meta(前身是Facebook)、谷歌、騰訊、字節等互聯網巨頭都在加速布局增強現實和數字孿生互聯網,其他互聯網企業也會加速轉型和融入。即將在2025年左右問世的蘋果汽車,會直接接入增強現實和數字孿生互聯網,從而引領汽車越過移動互聯網直接進入數字孿生互聯網時代。
可以預見,智能汽車這個未來生活“第三空間”將不再局限于車內這個物理空間本身,在自動駕駛技術日漸成熟的情境下,依托于光場AR HUD技術,智能汽車能實現人、車、環境的互聯互通,這一車載AR元宇宙蘊藏著極大的想象和發展空間。
結語
圍繞即將爆發的巨大商業價值,FUTURUS也已做好了全面的產品與技術布局準備。FUTURUS在車載增強現實和數字孿生技術領域擁有多年先發優勢,目前擁有最成熟、領先的產品和技術,且專利布局完整。FUTURUS也將會全力支持傳統汽車主機廠以及汽車市場的新進入者們開發和生產全景光場AR HUD,以便他們順利實現新一代數字化轉型,在即將全面到來的數字孿生互聯網時代搶占先機。
