今年年初，我們曾提到過Facebook的一個可以進行全身識別的技術（Facebook為未來全身AR打下基礎），這項技術可以用于對全身的AR替換，但當時只能做2D的識別，因此Facebook還在做進一步的研究優(yōu)化。有趣的是，最近迪斯尼研究人員發(fā)表了一篇論文，可以對用戶全身進行3D的AR替換。

迪斯尼提出的這項技術被稱為AR Poser，從這個名字也看得出它的用途，即用于讓米老鼠、達斯維達、鋼鐵俠等IP人物模仿用戶的動作擺出姿勢，然后讓用戶拍照。

簡單來說，AR Poser的原理可以分為三個部分。第一步和我們之前提過的諸多動捕系統(tǒng)類似，是將移動設備的攝像頭拍攝到的圖像傳輸至處理器，然后通過卷積神經(jīng)網(wǎng)絡等手段識別出目標的輪廓，這一技術我們在之前的動捕技術中已經(jīng)講過多次，就不贅述了。

第二步也很簡單，就是從用戶的輪廓中估計出骨骼姿勢，這同樣是最近幾個動捕方案中采用了的技術，只是AR Poser的骨骼估計更加粗略，手部等位置都被忽略掉了。

第三步是比較新穎的部分，和一般的動捕方案一樣，AR Poser也需要根據(jù)骨骼姿勢重新渲染3D圖像，區(qū)別在于，為了減少數(shù)據(jù)處理的強度，AR Poser在數(shù)據(jù)集中預設了一些姿勢，在得出骨骼姿勢后，AR Poser會將骨骼姿勢與數(shù)據(jù)集中預設的姿勢對比，選出最接近的一個，然后直接由此渲染最終圖像。這種做法的好處是計算量少，另外動捕方案捕捉精度不足的腳踝等部位也更加精確，缺點就是姿勢的數(shù)量多寡直接影響用戶體驗。

現(xiàn)在，AR Poser的數(shù)據(jù)集中一共包含了12個相關的姿勢，這12個姿勢是從AR Poser的體驗者的姿勢中總結的，當然數(shù)量的確還是太少。另外，據(jù)論文中的數(shù)據(jù)，從移動設備拍攝到圖像，到2D骨架估計，再到在移動設備上執(zhí)行3D的姿勢匹配，整個過程大約需要2秒鐘。

將AR Poser與Facebook的方案對比，AR Poser得到的是3D圖像，但二者需要的計算量基本相當（AR Poser只多出一個對比的過程），但AR Poser顯然無意于實時的動捕，因此捕捉的速度相對更慢一些。

最后說一句，AR Poser有幾個比較明顯的缺陷，第一，就是數(shù)據(jù)集中可匹配的姿勢數(shù)量太少。第二呢，目前AR Poser只解決了身體關節(jié)的姿勢估計，但不包括臉的表情和手指姿勢的估計，因此，AR Poser的識別無法區(qū)分手部動作不同的身體姿勢，在將來的優(yōu)化中，迪斯尼會考慮用全身匹配+手部姿勢匹配兩步來完成；最后，當用戶變化姿勢時，AR影像會直接重新渲染，因此，由于兩次對用戶身材識別的誤差，渲染結果也可能會出現(xiàn)大小不同的情況，造成視覺上的不適，在將來的優(yōu)化中，將會通過調整肩膀和腳的比例大小來解決這個問題。

考慮到迪斯尼對AR的應用一貫偏向于宣傳和IP方面，ARPoser可能將會應用于電影宣傳，例如將它應用到電影海報中，讓觀眾和更真實的AR形象合影等等，可能在不久的將來，就可以看到電影海報和主題公園景點中AR Poser的應用。