虛擬現實是一種可以創建和體驗虛擬世界的計算機系統,由計算機生成,通過視、聽、觸、嗅覺等作用于用戶,為用戶產生聲臨其境的感覺。其中沉浸感(immersion)、交互性(interaction)和構想性(imagination)是虛擬現實系統的三個基本特征。而人機交互是虛擬現實的核心技術之一,人機交互的目標是通過適當的方式,將用戶的行為和狀態(輸入)轉變成一種計算機能夠懂理解和操作的表示,并把計算機的行為和狀態(輸出)轉化為一種人能夠理解和操作的表達,同時通過界面反饋給人。虛擬現實一方面需要感知用戶的肌肉運動、姿勢、語言和身體跟蹤等多個感官通道的輸入信息;另一方面可以從人類的視覺、聽覺、觸覺、嗅覺等多個感官通道模擬逼真的真實世界的感覺,從而建立起一個自然和諧的人機環境。
新一代的交互方式以多通道和多媒體為特征,將使人機交互變得更加智能。這里的多通道指利用人的多種感覺通道和動作通道,如語音、姿勢、動作、眼動、唇動、表情和意識等。這種交互方式實現了以并行、非精確的方式與計算機進行交互,從而大幅度提高了人機交互的自然性和交互效率。
WIMI微美全息開發了虛擬現實多通道交互系統。多通道交互系統是指在一個系統中組合了2個或以上輸入通道(如語音、視頻、觸覺和手勢等)的協作方式,充分利用人類不同的感覺通道,使得交互更為自然有效。在多通道用戶交互系統中,用戶可以使用自然的交互方式如語音、手勢、眼神、表情、唇動等與計算機系統進行協同工作,人和機器都都是信息交流的主動參與者,輸入通道之間有串行/并行、互補/獨立等多種方式,人機交互向人與人交互的形式靠攏,大幅度提高了交互的自然性和高效性,這將會是未來虛擬現實人機交互的主流形式。
在虛擬現實中使用多通道交互具有明顯優勢,其不僅可以降低耦合度,減少用戶的認知負荷,也可顯著提高輸入的識別率,并為用戶提供靈活的輸入方式,提高交互效率。
WIMI微美全息虛擬現實多通道系統使用戶同時使用不同的通道進行交互,這些交互通常基于語音、姿勢或觸覺輸入,此外,像面部表情識別或唇讀也用于多通道輸入。多通道界面能組合單獨通道的優勢,或根據環境上下文轉換通道。由于多通道技術融合了多個通道的輸入流,因而在虛擬現實中使用多通道交互技術可以極大地提高系統控制的性能。而多通道融合主要有兩種方式,特征融合和語義融合,特征融合是基于原始輸入數據在信號級進行融合,這種方式適用于被融合的通道是緊密耦合的;語義融合是把輸入數據映射為語義解釋的過程,從輸入通道獲取輸入信息流,通過初步的預處理,構建統一的數據表示。
人機交互是系統與用戶之間的交互關系,它使用人與計算機之間的對話語言,以某種交互方式完成人與計算機間的信息交換過程。在人機交互中,人類的自然交互行為和物理空間的狀態變化是多通道的模式。
對于虛擬現實場景的人機交互,無論是語音識別、情感識別還是人機對話,深度學習都會使所建立的系統更加智能化。WIMI微美全息多通道用戶交互系統可增強機器模型識別、分類和分析混淆行為的能力,其引領著虛擬現實人機交互模式正逐步向智能化、人性化、場景化方向發展,構建一個和諧自然的虛擬現實人機環境。