在AR/VR中，用戶可以以特定的Avatar虛擬化身形式出現，并可映射真實用戶的物理動作，例如《頭號玩家》中少年韋德·沃茲的VR化身帕西法爾或《星球大戰》中的AR全息萊婭公主。
實際上，蘋果早前已經提交過多份與所述主題相關的專利申請，而日前一份名為“Moving an avatar based on real-world data”的發明中，蘋果又介紹了一種通過基于外部傳感器的信息來移動Avatar虛擬化身的方法。
簡單來說，專利描述的實施例允許SR系統能夠基于外部傳感器檢測的用戶移動信息來為用戶的SR表示生成移動序列。用戶的移動信息表征了用戶在不同時間的身體姿勢。例如，移動信息表征用戶在第一時間的第一身體姿勢和用戶在第二時間的第二身體姿勢。
如果不同身體姿勢之間的轉換滿足可接受性閾值，則根據為SR表示生成的移動序列移動SR表示。例如，如果第一身體姿勢和第二身體姿勢之間的轉換滿足可接受性閾值，則根據為SR表示生成的移動序列移動SR表示。
在一個實施例中，可接受性閾值指定一個持續時間，如果在可接受性閾值指定的持續時間內完成轉換，則轉換滿足可接受性閾值。在一個實施例中，如果轉換包含與模板身體移動匹配的移動，則轉換滿足可接受性閾值。
圖1是基于上述實施例的一個的示例性操作環境100，其包括由用戶108穿戴的頭戴式顯示器120，兩個外部傳感器130A和130B，以及一個控制組件110。需要理解的是，在其他實施例中可以包括兩個或以上的外部傳感器。
在一個實施例中，控制組件110配置成管理和協調用戶的SR沉浸式體驗?？刂平M件可以是一個本地服務器或一個遠程服務器，并以有線或無線方式來與頭顯和外部傳感器耦合。
在一個實施例中，兩個外部傳感器130A和130B配置成檢測用戶108的移動，并為控制組件110和/或頭顯120提供與用戶108相關的移動信息。
外部傳感器包括圖像傳感器，而移動信息包括用戶的圖像。其中，移動信息132表征用戶108的一個或多個身體姿勢。在一個實施例中，移動信息132表征用戶108在不同時間的身體姿勢。例如，移動信息132在第一時間表征第一身體姿勢，在第二時間表征第二身體姿勢。在一個實施例中，移動信息132指示用戶108的關節位置和/或關節方向。
頭顯120可以向用戶108呈現SR內容124，其中SR內容124包括對應于用戶108的Avartar虛擬化身126。在一個實施例中，控制組件110和/或頭顯120可以基于移動信息132來致使Avatar126移動。在一個實施例中，如果移動信息132指示身體姿勢之間的轉換滿足可接受性閾值，則Avatar126移動。
圖2是控制組件110的示例框圖。其中，控制組件包括SR體驗模塊240。SR體驗模塊240包括數據獲取單元242、姿勢評估單元244、移動生成單元246和數據發送單元248。
在一個實施例中，數據獲取單元242配置為從頭顯120和外部傳感器130A-B中的至少一個獲取數據。例如，數據獲取單元242可以獲取圖1所示的移動信息132，或者數據獲取單元242獲取場景105的圖像。在這種實現中，數據獲取單元242執行場景理解以識別用戶108和用戶108的身體姿勢。例如，數據獲取單元242可以基于所獲得的數據確定用戶108的關節位置和/或關節方向。
在一個實施例中，姿勢評估單元244確定身體姿勢之間的轉換是否滿足可接受性閾值。例如在一個實施例中，姿勢評估單元244確定從用戶108在第一時間的第一身體姿勢到用戶108在第二時間的第二身體姿勢的轉換是否滿足可接受性閾值。
在一個實施例中，可接受性閾值與空間可接受性相關。姿勢評估單元244確定轉換是否包括在模板可接受閾值內的移動。例如，姿勢評估單元244確定用戶108的關節位置和/或關節方向是否匹配模板關節位置和/或模板關節方向。
在一個實施例中，可接受性閾值與時間可接受性相關。姿勢評估單元244確定轉換是否在可接受性閾值指示的時間量內完成。例如，姿勢評估單元244確定第一時間和第二時間之間的時間差是否在由可接受性閾值指示的閾值時間段內。
在一個實施例中，姿勢評估單元244確定可接受性閾值。在一個實施例中，姿勢評估單元244接收指示可接受性閾值的用戶輸入。姿勢評估單元244基于用戶108的過去表現來調整可接受性閾值。例如，如果用戶108在滿足可接受性閾值方面有困難，則姿勢評估單元244放松可接受性閾值。在一些實現中，如果用戶108太容易滿足可接受性閾值，則姿勢評估單元244收緊可接受性閾值。
響應于滿足可接受性閾值的身體姿勢之間的轉換，生成單元246為Avatar126生成移動序列。在一個實施例，移動生成單元246為Avatar126選擇模板身體移動。移動生成單元246從存儲在存儲器220中的一組模板身體移動中選擇模板身體移動。在一個實施例中，移動生成單元246基于用戶108的第一身體姿勢和第二身體姿勢選擇模板身體移動。在這種實現中，移動生成單元246針對用戶108的不同開始和結束身體姿勢選擇不同的模板身體移動。
數據發送單元248配置為向頭顯120發送數據，例如將Avatar126的移動序列發送到頭顯120。
圖3是頭顯的示例性框圖。在一個實施例中，頭顯包括SR呈現單元344，后者配置為經由一個或多個SR顯示器312呈現SR內容。在一個實施例中，SR呈現單元344從控制組件110獲取與SR內容124相對應的數據?；蛘撸琒R呈現單元344利用移動信息132來合成SR內容124。在各種實現中，SR呈現單元344向用戶108呈現SR內容124。
專利圖4是外部傳感器的示例性框圖
在一個實施例中，兩個外部傳感器130A和130B配置成檢測用戶108的移動，并為控制組件110和/或頭顯120提供與用戶108相關的移動信息。
外部傳感器包括圖像傳感器，而移動信息包括用戶的圖像。其中，移動信息132表征用戶108的一個或多個身體姿勢。在一個實施例中，移動信息132表征用戶108在不同時間的身體姿勢。例如，移動信息132在第一時間表征第一身體姿勢，在第二時間表征第二身體姿勢。在一個實施例中，移動信息132指示用戶108的關節位置和/或關節方向。
圖5A-5B說明了示例性移動信息500/500A。移動信息500表征用戶在第一時間512的第一身體姿勢510和用戶在第二時間522的第二身體姿勢520。圖5A同時示出了從第一身體姿勢510到第二身體姿勢520的過渡530。
在圖5A的示例中，轉換530滿足可接受性閾值540。在一個實施例中，轉換530滿足可接受性閾值540，因為轉換530包括與模板身體移動匹配的移動。例如，過渡530包括與相應模板身體姿勢匹配的中間身體姿勢。由于轉換530滿足可接受性閾值540，所以控制組件110和/或頭顯120為用戶108的SR表示126生成移動序列。所以，移動信息500將致使用戶108的Avatar126移動。
圖5B示出了示例移動信息500A。移動信息500A表征用戶在第三時間552的第三身體姿勢550和用戶在第四時間562的第四身體姿勢560。圖5B同時示出了從第三身體姿勢550到第四身體姿勢560的過渡570。在圖5B的示例中，轉換570違反（不滿足）可接受性閾值580。例如，轉換570包括與模板身體移動不匹配的移動，例如過渡570包括與相應模板身體姿勢不匹配的中間身體姿勢。由于轉換570不滿足可接受性閾值580，控制組件110和/或頭顯120不為用戶108的Avatar126生成移動序列。所以，移動信息500A不會致使用戶108的Avatar126移動。
在一個實施例中，可接受性閾值根據滿足可接受性閾值的先前轉換而改變。例如，如果先前轉換的閾值數量滿足圖5A的可接受閾值540，則控制組件110和/或頭顯120將可接受閾值540縮小到圖5B所示的可接受閾值580。如果先前轉換的閾值數量違反圖5B的可接受閾值580，則控制組件110和/或頭顯120將可接受閾值580加寬到圖5A所示的可接受閾值540。
在一個實施例中，可接受性閾值的變化程度是前一個過渡的破壞程度的函數。例如，如果先前的轉換超出可接受性閾值5-10%，則控制組件110和/或頭顯120將可接受性閾值擴大12%。但如果之前的轉換違反可接受性閾值20-30%，則控制組件110和/或頭顯120將可接受性閾值擴大35%。
在一個實施例中，根據之前的轉換更改可接受性閾值可以增強用戶體驗。根據之前的轉換更改可接受性閾值可以考慮不同能力的用戶?？s小可接受性閾值會鼓勵用戶改善他/她的身體姿勢轉換，而擴大可接受性閾值允許用戶滿足可接受性閾值。
相關專利：Apple Patent | Moving an avatar based on real-world data
名為“Moving an avatar based on real-world data”的蘋果專利申請最初在2021年3月提交，并在日前由美國專利商標局公布。
