盡管內(nèi)向外追蹤的性能已經(jīng)足以在頭顯、控制器和雙手追蹤方面取代外向內(nèi)追蹤，但由于視場覆蓋問題，全身動捕一直以來都是依靠外向內(nèi)的追蹤設(shè)置來實現(xiàn)。不僅只是這樣，隨著頭顯形狀參數(shù)的不斷小型化輕薄化，攝像頭的視場覆蓋問題將會變得越發(fā)困難。
不過，社區(qū)依然在積極探索利用AI等手段來提供下半身的姿態(tài)估計。實際上，如果你有留意映維網(wǎng)的專享，諸如Meta，卡內(nèi)基·梅隆大學(xué)，蘇黎世聯(lián)邦理工學(xué)院等已經(jīng)發(fā)布了各種論文研究。
現(xiàn)在，韓國首爾大學(xué)和Meta的研究人員日前又發(fā)布了一項相關(guān)研究。利用頭顯+控制器的組合，以及算法技巧，團(tuán)隊提供了一種名為QuestEnvSim的解決方案。
為了實現(xiàn)真正的臨場感，用戶的Avatar必須準(zhǔn)確地復(fù)刻肢體動作和肢體語言，并實現(xiàn)與環(huán)境的自然交互。基于標(biāo)記的追蹤方案繁瑣和昂貴。
首爾大學(xué)和Meta團(tuán)隊的目標(biāo)是創(chuàng)建一個只依賴于消費(fèi)者VR設(shè)備的姿態(tài)和環(huán)境信息作為輸入的追蹤方案，例如頭顯+控制器。
從稀疏傳感器合成全身運(yùn)動具有挑戰(zhàn)性，因為諸多不同的姿態(tài)都可能符合給定的傳感器輸入，從而造成不準(zhǔn)確的估計，尤其是下半身。另外，生成合理的對象交互運(yùn)動需要特別注意。例如，當(dāng)用戶與他們的環(huán)境交互時(坐在沙發(fā)上或靠在桌子)，這引入了復(fù)雜的物理約束。而且下半身并不總是完全受到平衡的約束，所以存在更多的模糊性。例如，當(dāng)坐在沙發(fā)時，諸多不同的姿態(tài)都可能符合給定的傳感器輸入，所以造成不準(zhǔn)確的估計。
在名為《QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse Sensors》的論文中，團(tuán)隊開發(fā)了一種將頭顯和控制器姿態(tài)以及環(huán)境的表示作為輸入，并生成與傳感器輸入及其周圍環(huán)境相匹配的全身運(yùn)動的運(yùn)動追蹤算法。
具體地說，團(tuán)隊使用物理模擬的Avatar，并通過深度強(qiáng)化學(xué)習(xí)學(xué)習(xí)控制策略來產(chǎn)生扭矩以驅(qū)動Avatar，目標(biāo)是盡可能接近地追蹤用戶的頭顯和控制器姿態(tài)。
當(dāng)然，社區(qū)已經(jīng)提出了多種類似于所述方法的基于物理Avatar的運(yùn)動追蹤系統(tǒng)。但研究人員認(rèn)為，對于特定方法，除了腳-地板接觸之外，它們尚未證明其他環(huán)境交互。至于其他方法，它們采用人工力來處理復(fù)雜的接觸動力學(xué)，而這會產(chǎn)生不自然的運(yùn)動。
首爾大學(xué)和Meta不是使用人工力量，他們的控制策略訓(xùn)練成積極地使用環(huán)境來產(chǎn)生適當(dāng)?shù)耐獠苛α縼眚?qū)動模擬Avatar，而其中的策略是從包括環(huán)境交互的動捕數(shù)據(jù)中學(xué)習(xí)。所以，系統(tǒng)產(chǎn)生的動作在物理上是準(zhǔn)確的，在環(huán)境中更可信。例如，如果頭戴式顯示器靠近椅子，這可能意味著用戶已經(jīng)坐了下來，而不是僅僅處于蹲伏的狀態(tài)。
研究人員首先證明了稀疏上半身輸入。如果與物理模擬和環(huán)境觀察相結(jié)合，其可以在高度受限的環(huán)境中產(chǎn)生真實的全身運(yùn)動，無需使用任何人工力。
為了展示系統(tǒng)的能力，研究人員展示了各種各樣的例子，比如坐在椅子、沙發(fā)和盒子、踏過盒子、搖椅子和轉(zhuǎn)動辦公椅等等。其中，所有的動作都是由真實用戶輸入產(chǎn)生，不使用任何后處理，例如逆運(yùn)動學(xué)、接觸解析和平滑等。
當(dāng)然，如果你留意上面的視頻，你依然會發(fā)現(xiàn)由于攝像頭視場覆蓋問題，以及諸多不同的姿態(tài)都可能符合給定的傳感器輸入，所以QuestEnvSim依然無法準(zhǔn)確估計微妙的下半身姿態(tài)，尤其是視頻后半段，你會多次發(fā)現(xiàn)下半身的姿態(tài)估計不完全準(zhǔn)確。
相關(guān)論文：QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse Sensors
不過，研究人員相信這是稀疏傳感器與場景交互的運(yùn)動追蹤所取得的最高質(zhì)量結(jié)果之一。接下來，團(tuán)隊將繼續(xù)努力，并不斷優(yōu)化解決方案。
