關(guān)于人類用戶姿勢(shì)的信息可以映射到虛擬鉸接表示。例如，當(dāng)參與虛擬現(xiàn)實(shí)環(huán)境時(shí)，人類用戶在虛擬環(huán)境中的表現(xiàn)會(huì)呈現(xiàn)出與現(xiàn)實(shí)世界姿勢(shì)相似的姿勢(shì)。用戶的真實(shí)世界姿態(tài)可以通過先前訓(xùn)練的模型轉(zhuǎn)換為虛擬鉸接表示的姿態(tài)，模型可以訓(xùn)練為輸出用于最終渲染的相同虛擬鉸接表示姿態(tài)。
但有時(shí)候，系統(tǒng)可能需要顯示遠(yuǎn)非真實(shí)的表示。例如，用戶可以選擇具有不同身體比例、骨骼和/或其他方面的不同卡通角色。
圖1顯示了真實(shí)世界環(huán)境102中的人類用戶100。如圖所示，將人類用戶的姿勢(shì)應(yīng)用于鉸接表示104。換句話說，當(dāng)人類用戶在真實(shí)世界環(huán)境中活動(dòng)，相關(guān)活動(dòng)將轉(zhuǎn)換為虛擬環(huán)境106中鉸接表示104的相應(yīng)運(yùn)動(dòng)。
然而，有時(shí)候虛擬鉸接表示可能需要與用于訓(xùn)練模型的表示不同。為了解決這個(gè)問題，名為“Concurrent human pose estimates for virtual representation”的微軟專利介紹了用于同時(shí)估計(jì)模型鉸接表示和目標(biāo)鉸接表示的姿態(tài)的技術(shù)。
具體地說，計(jì)算系統(tǒng)至少部分地基于來自一個(gè)或多個(gè)傳感器的輸入接收人類用戶的一個(gè)或多個(gè)身體部位的詳細(xì)參數(shù)的定位數(shù)據(jù)。這可以包括頭顯慣性測(cè)量單元輸出，以及來自合適攝像頭(例的輸出。
系統(tǒng)同時(shí)維護(hù)一個(gè)或多個(gè)將模型關(guān)節(jié)表示與目標(biāo)關(guān)節(jié)表示相關(guān)聯(lián)的映射約束，例如關(guān)節(jié)映射約束。至少部分基于定位數(shù)據(jù)和映射約束，姿態(tài)優(yōu)化機(jī)同時(shí)估計(jì)模型關(guān)節(jié)表示的模型姿態(tài)和目標(biāo)關(guān)節(jié)表示的目標(biāo)姿態(tài)。一旦進(jìn)行了估計(jì)，就可以將目標(biāo)關(guān)節(jié)表示與目標(biāo)姿勢(shì)一起顯示為人類用戶的虛擬表示。
姿態(tài)優(yōu)化機(jī)可以使用具有用于模型鉸接表示的ground truth標(biāo)簽的訓(xùn)練定位數(shù)據(jù)進(jìn)行訓(xùn)練。然而，訓(xùn)練定位數(shù)據(jù)可能缺乏目標(biāo)鉸接表示的ground truth標(biāo)簽。
以這種方式，發(fā)明描述的技術(shù)可以有益地允許人類用戶真實(shí)世界姿態(tài)的準(zhǔn)確再現(xiàn)，而不需要為每個(gè)不同的可能目標(biāo)鉸接表示進(jìn)行計(jì)算昂貴的訓(xùn)練。
例如當(dāng)參與虛擬環(huán)境時(shí)，用戶能夠從虛擬環(huán)境中用于代表他們的各種不同的Avatar中進(jìn)行選擇，并且用戶可以在會(huì)話期間動(dòng)態(tài)改變外觀。可以將新的目標(biāo)鉸接表示添加到用戶可用的表示菜單中，而無需為特定表示重新訓(xùn)練模型的計(jì)算費(fèi)用。
發(fā)明描述的技術(shù)可以提供減少計(jì)算資源消耗的技術(shù)優(yōu)勢(shì)，同時(shí)準(zhǔn)確地重新創(chuàng)建人類用戶的真實(shí)世界姿勢(shì)，并允許將準(zhǔn)確的姿勢(shì)應(yīng)用于多個(gè)不同目標(biāo)鉸接表示中的任何一個(gè)。具體方法是通過同時(shí)估計(jì)目標(biāo)和模型的姿勢(shì)。
圖2示出用于虛擬表示人體姿勢(shì)的示例方法200。
在202，基于來自一個(gè)或多個(gè)傳感器的輸入，接收人類用戶的一個(gè)或多個(gè)身體部位的詳細(xì)參數(shù)的定位數(shù)據(jù)。
在204，維護(hù)一個(gè)或多個(gè)將模型鉸接表示與目標(biāo)鉸接表示相關(guān)的映射約束。圖4顯示了示例模型鉸接表示400。
如上所述，目標(biāo)鉸接表示呈現(xiàn)用于在虛擬環(huán)境中顯示，并且可以通過姿態(tài)優(yōu)化機(jī)輸出目標(biāo)姿態(tài)來顯示。例如，目標(biāo)鉸接表示可以具有任何合適的外觀和比例，并且可以具有任何合適數(shù)量的肢體、關(guān)節(jié)和/或其他可移動(dòng)的身體部位。
目標(biāo)鉸接表示可以類似于非人類動(dòng)物、虛構(gòu)角色或任何合適的Avatar。模型鉸接表示和目標(biāo)鉸接表示通過一個(gè)或多個(gè)映射約束402相關(guān)聯(lián)。
一個(gè)或多個(gè)映射約束可以包括聯(lián)合映射約束404。對(duì)于目標(biāo)鉸接表示的關(guān)節(jié)，關(guān)節(jié)映射約束指定模型鉸接表示中的一組一個(gè)或多個(gè)關(guān)節(jié)。例如，模型鉸接表示400包括多個(gè)關(guān)節(jié)，其中兩個(gè)標(biāo)記為403A和403B，其對(duì)應(yīng)于肩關(guān)節(jié)和肘關(guān)節(jié)。
目標(biāo)鉸接表示104包括類似的關(guān)節(jié)405A和405B。因此，多個(gè)映射約束可以包括目標(biāo)表示的關(guān)節(jié)405A和405B的不同的關(guān)節(jié)映射約束，表明關(guān)節(jié)映射到模型表示的關(guān)節(jié)403A和403B。
關(guān)節(jié)映射約束可以進(jìn)一步指定映射到目標(biāo)關(guān)節(jié)表示的關(guān)節(jié)的模型關(guān)節(jié)表示中的每個(gè)關(guān)節(jié)的權(quán)重。例如，當(dāng)模型鉸接表示中只有一個(gè)關(guān)節(jié)映射到目標(biāo)鉸接表示的特定關(guān)節(jié)時(shí)，模型關(guān)節(jié)的權(quán)重可能為100%。當(dāng)兩個(gè)模型關(guān)節(jié)映射到目標(biāo)關(guān)節(jié)時(shí)，兩個(gè)模型關(guān)節(jié)的權(quán)重可以是50%和50%、30%和70%、10%和90%等。
回到圖2，在206，方法200包括通過先前訓(xùn)練的位姿優(yōu)化機(jī)器同時(shí)估計(jì)模型鉸接表示的模型位姿和目標(biāo)鉸接表示的目標(biāo)位姿。模型位姿和目標(biāo)位姿至少部分基于定位數(shù)據(jù)進(jìn)行估計(jì)。
圖5A示意性地示出了位姿優(yōu)化機(jī)500的示例，其可以作為計(jì)算機(jī)邏輯組件的任何合適組合來實(shí)現(xiàn)。作為一個(gè)非限制性示例，位姿優(yōu)化機(jī)500可以實(shí)現(xiàn)為如圖6所述的邏輯子系統(tǒng)602。
如圖5A所示，姿態(tài)優(yōu)化機(jī)同時(shí)估計(jì)模型鉸接表示的模型姿態(tài)502A和目標(biāo)鉸接表示的目標(biāo)姿態(tài)502B。這至少部分地基于定位數(shù)據(jù)504和一個(gè)或多個(gè)映射約束506來完成。
姿態(tài)估計(jì)可以至少部分地基于在一個(gè)或多個(gè)先前時(shí)間框架估計(jì)的一個(gè)或多個(gè)先前模型姿態(tài)和先前目標(biāo)姿態(tài)來完成。因此，位姿優(yōu)化機(jī)器500存儲(chǔ)多個(gè)先前的位姿506，其可以表示為每個(gè)模型關(guān)節(jié)的多個(gè)局部旋轉(zhuǎn)。
一個(gè)或多個(gè)映射約束可以包括位姿連續(xù)性約束，它施加幀對(duì)幀的限制，限制給定關(guān)節(jié)的局部旋轉(zhuǎn)可以從一個(gè)幀改變到另一個(gè)幀的程度。
圖5B示意性地說明了將估計(jì)的模型和目標(biāo)姿態(tài)應(yīng)用于模型和目標(biāo)鉸接表示。具體而言，圖5B再次描繪了模型鉸接表示400和目標(biāo)鉸接表示104對(duì)應(yīng)的默認(rèn)姿態(tài)407A和407B。然后改變鉸接定向的姿態(tài)，使得模型鉸接表示400假設(shè)模型姿態(tài)502A，目標(biāo)鉸接表示104假設(shè)目標(biāo)姿態(tài)502B。
應(yīng)當(dāng)理解，模型位姿和目標(biāo)位姿是同時(shí)估計(jì)。換句話說，與替代方法相比，姿態(tài)優(yōu)化機(jī)不首先為模型鉸接表示輸出模型姿態(tài)，然后將姿態(tài)轉(zhuǎn)移到目標(biāo)鉸接表示。相反，姿態(tài)估計(jì)可以描述為同時(shí)為滿足一組約束的兩種不同表示找到兩種不同的姿態(tài)。
例如，模型鉸接表示的姿態(tài)可以受到姿態(tài)優(yōu)化機(jī)器的先前訓(xùn)練的約束，以輸出給定一組定位數(shù)據(jù)的可能的人類姿態(tài)，并且目標(biāo)鉸接表示的姿態(tài)可以受到將目標(biāo)鉸接表示與模型鉸接表示相關(guān)聯(lián)的一個(gè)或多個(gè)映射約束的約束。
另外，姿態(tài)估計(jì)可以由姿態(tài)優(yōu)化機(jī)實(shí)現(xiàn)的先前訓(xùn)練的機(jī)器學(xué)習(xí)模型508執(zhí)行。在一個(gè)實(shí)施例中，姿態(tài)優(yōu)化機(jī)可配置為基于稀疏輸入定位數(shù)據(jù)輸出姿態(tài)。換句話說，姿態(tài)優(yōu)化機(jī)可以訓(xùn)練成基于比姿態(tài)優(yōu)化機(jī)在運(yùn)行時(shí)通常接收到的更多的輸入?yún)?shù)輸出姿態(tài)估計(jì)。
換句話說，提供給姿態(tài)優(yōu)化機(jī)的定位數(shù)據(jù)可能包含人類用戶n個(gè)關(guān)節(jié)的旋轉(zhuǎn)參數(shù)，而姿態(tài)優(yōu)化機(jī)之前訓(xùn)練的是接收n+m個(gè)關(guān)節(jié)的旋轉(zhuǎn)參數(shù)作為輸入，其中m>1。然后，估計(jì)模型姿態(tài)可包括估計(jì)模型鉸接表示的n+m模型關(guān)節(jié)的旋轉(zhuǎn)參數(shù)，至少基于n個(gè)關(guān)節(jié)的旋轉(zhuǎn)參數(shù)，而不基于m個(gè)關(guān)節(jié)的旋轉(zhuǎn)參數(shù)。
另外，姿態(tài)優(yōu)化機(jī)的訓(xùn)練定位數(shù)據(jù)可以不包括目標(biāo)鉸接表示的ground truth標(biāo)簽。相反，標(biāo)鉸接表示通過一個(gè)或多個(gè)映射約束與模型鉸接表示相關(guān)，而映射約束通常將目標(biāo)姿態(tài)約束為與模型姿態(tài)基本相似。
微軟指出，采用上述技術(shù)，過程的速度可以有益地提高兩個(gè)數(shù)量級(jí)。這可以實(shí)現(xiàn)模型和目標(biāo)姿態(tài)的實(shí)時(shí)并發(fā)估計(jì)，而無需使用專門的硬件加速。
回到圖2，在208，方法200包括將具有目標(biāo)姿態(tài)的目標(biāo)鉸接表示作為人類用戶的虛擬表示輸出以供顯示。例如在圖1中，目標(biāo)鉸接表示104通過電子顯示設(shè)備108呈現(xiàn)。表示目標(biāo)鉸接表示的顯示裝置可以采用任何合適的形式并且可以使用任何合適的底層顯示技術(shù)。
相關(guān)專利：Microsoft Patent | Concurrent human pose estimates for virtual representation
名為“Concurrent human pose estimates for virtual representation”的微軟專利申請(qǐng)最初在2022年4月提交，并在日前由美國專利商標(biāo)局公布。
