疫情與科技雙輪驅動,徹底改變了人類社會,線上會議、云上辦公、遠程醫療,很多新的協作方式應運而生。
哪類場景是受益技術落地應用頗深的呢?
釘釘、騰訊會議等依托已有的用戶打造了方便實用的會議工具,AI公司推出了相關的會議場景解決方案,也有一些VR、AR科技公司開始拓展在線會議的邊界,想在細分領域開拓一片天地。
今年的中關村論壇將繼續發揮科技辦會的優勢,利用多項黑科技全面提升參會體驗。在2021中關村論壇中多項科技辦會應用,也將直接落地到了北京冬奧會中。
一:從內到外,科技凸顯中國式防疫的力量
疫情期間舉辦如此規格與規模的論壇,防疫工作必然是重中之重。
首先,根據不同功能需求,在關鍵區域和出入口布設睿家科技智能安檢測溫系統及曠視明驥智能體溫篩查比對系統。前者用于在安檢處快速核驗個人健康防疫信息,后者用于在人員密集處快速篩查體溫。
值得一提的是,睿家科技智能安檢測溫系統可以做到一秒七步合一:身份識別、智能測溫、健康碼、核酸檢測、疫苗接種、公安聯網、電子登記。
會場還布置了氣溶膠新冠病毒監測系統,利用生物氣溶膠采樣器直接將空氣中新冠病毒顆粒采集至檢測芯片裂解液腔室,芯片放入病原體核酸分析儀后,可全自動完成核酸提取與擴增檢測,實現“樣品入-結果出”式的高靈敏檢測。
二:MR全景會場,云上論壇開啟融合的世界
辦會期間的科技防疫是基礎操作,科技對會議主體內容的賦能更能突顯智慧。
3G時代人與人之間的溝通更快了,4G時代物與物連成了物聯網,5G時代,人、物、數據將更加深度的綁定在一起,現實世界和虛擬世界也會加速融合。
無論VR還是AR,都會讓人感覺到真實和虛擬世界的割裂,缺乏沉浸式的體驗,本次云上論壇,將同步在MR(混合現實)全景會場中舉辦,融合實景全景+三維模型,還原真實的會場空間,將多種融媒體整合、讓觀眾可以在線上得到身臨其境的沉浸式體驗。
那MR和本就融合了現實和虛擬的AR有何不同?
AR這項技術主要是通過三維模型、視頻等數字媒體來給現實世界增加新的視角,將各種“美術”元素實時疊加在了用戶的像機視圖上,但如果你想和虛擬對象去交互,就行不通了,在AR中,現實和虛擬世界只是形式上的融合。
MR則不同,在MR的世界里人們能夠像現實世界一般去互動、操縱和體驗,想象一下類似隔空輸入,敲擊著桌面上的虛擬鍵盤,屏幕上就實時顯示出了內容,在混合現實中,到處都是這樣的場景,虛擬世界的對象都是可觸碰,有反饋的,相當于創造了現實和虛擬共存的混合世界。
那MR全景會場如何構建?首先需要一套全景技術來復制一份會場的全景三維鏡像,然后再整合多元化的媒體信息。這個全景系統會涉及超高清全景相機、全景拼接和全景圖像渲染引擎等。
全景相機將拍攝的會場高清圖像上傳至云端,后臺通過特征點識別、特征點匹配、圖像智能拼接、圖像融合等技術,將圖片無縫拼接好,再由前端渲染引擎實現全景照片在手機、電腦、智慧屏等終端上完美呈現。
再融合空間定位、實時數據映射等多元媒體技術,一個令人興奮可以實時交互的MR全景會場就誕生了,這個MR會場不再是“堆特效”堆出來的死場景,而是生動可感的第三世界。
三:“悟道2.0”加持,手語播報數字人讓聽障人士享受普惠AI
MR云上會場雖然有更加沉浸式的體驗,但現場的互動體驗更能讓與會者感受到科技的變化。
中關村論壇這樣的科技盛會,不僅規格高,場次也很多,比較重要的會議通常伴有手語直播,方便聽障人士參會,如果全靠真人手語主播,工作強度將會非常大。
近兩年,虛擬數字主播逐漸走上舞臺,幫助主持會議、播報新聞,幾乎可以亂真,但目前可以播報手語的虛擬人并不常見。本次大會非常幸運請到了 “悟道2.0”超大規模預訓練模型加持的手語播報數字人。
由于手語主要靠手勢來傳遞信息,不同的人有不同的手勢習慣,很容易造成信息傳遞偏差,而人工智能則可以避免“千人千面”,只要前端接收的自然語言信息無誤,就能準確表達。
普通播報新聞的虛擬主播也是由AI來驅動,對它們來說,只要語音準確就可以,表情和手勢只需配合,而手語播報數字人,對手勢的要求會更加精準。
追根溯源,手語數字人也是為了傳遞信息,所以對自然語言的理解尤為重要,這次的手語數字人背后注入了“悟道2.0”和微軟小冰的強大基因。
“悟道2.0”是類似GPT-3的人工智能預訓練大模型,參數規模達到了1.75萬億,達到了GPT-3的10倍,打破了之前由Google Switch Transformer預訓練模型創造的1.6萬億參數記錄,并且完全使用了國產算力,在世界公認的9項Benchmark基準測試任務上都達到了精準智能。
因為訓練數據和參數跟普通的AI模型不在一個量級,所以在自然語言理解上會有十分明顯的優勢。微軟小冰基于情感的交互能力更強,不光可以進行創作性回答,還能控制自然對話的節奏,讓整個播報更像真人。
據悉,該手語播報數字人不光參加中關村論壇,也會服務于北京冬奧會,為全世界的聽障人士帶去更好的參會體驗。
四:AI修復+視錯覺視頻技術,線上觀看效果依然“人從畫中來”
而作為線下論壇,利用科技增強現場效果、給觀眾帶來更佳的體驗亦是重中之重。
中關村論壇引入了一系列適用于論壇場景的新技術,多維度整合進論壇場景中,讓科技論壇真正科技化。
“國際化”、“高端化”是今年中關村論壇辦會特色,為此論壇邀請了眾多海外相關領域嘉賓線上參會,嘉賓線上視頻的質量直接影響了現場效果。
中關村論壇利用技術打造了線上嘉賓“人從畫中來”的真實效果。
首先是視錯覺視頻技術,主會場采用大面積弧形屏+頂部條屏結合的方式,營造沉浸感氛圍,條形屏通過動態素材的呈現增加靈動感,同時配合視頻呈現裸眼3D效果。
利用視覺差原理,通過綠幕錄制、后期特效等方式制作遠程嘉賓演講視頻,達到線下線上裸眼3D效果,配合制作合成的模擬特寫鏡頭上屏,達到以假亂真的效果。
同時利用AI視頻增強技術,將部分質量不高的演講視頻優化為高清視頻。如今,AI視頻增強技術通常是基于深度學習技術,重新設計或提出自研的超分核心技術算法??舍槍τ袚p的視頻場景、低分辨率視頻流或視頻文件進行實時放大、修復、復原,輸出高分辨率、高清晰度視頻,并經過神經網絡的處理,有效修復編解碼引入的圖像錯誤。
除此之外,2021中關村論壇在在通州區九棵樹文化產業園設置了沉浸式第二現場,全方位還原中關村論壇部分活動場次——通過邊緣融合技術對多個方位拍攝影像進行拼接融合,在第二現場進行播出,達到全方位沉浸式體驗的效果。
事實上,許多賽事會議都將用上基于5G的沉浸式VR體驗,例如2022北京冬奧會的賽場。
如今的許多體育場和競技場全都安裝有數十臺高清攝像機,然后捕捉各類角度的賽事鏡頭,將捕捉到的圖像數據進行渲染處理,進而能夠實現360度的回放,并使得對人眼難以判斷的動作和場上的違規行為進行詳細描述成為可能。角度甚至可以你在球場中間、運動員就在你身邊的效果,進而達到沉浸式體驗。
如今,人、物、數據將更加深度的鏈接在一起,現實世界和虛擬世界正在加速融合,VR會議只是數字孿生的冰山一角,是一個表現形式一個窗口,未來的數字化智能工廠,不是搬進了虛擬世界,而是邁上了通往融合創新的新大陸。