在10月29日凌晨一點（北京時間）的Facebook Connect 2021大會上，馬克·扎克伯格宣布Facebook公司正式改名為Meta，并且描繪了許多元宇宙的場景，以體現(xiàn)Meta擁抱元宇宙的決心。

我們注意到，在近兩小時的Keynote環(huán)節(jié)中，扎克伯格提及了一款將于2022年推出的短焦VR一體機，代號“Project Cambria”，采用Pancake光學(xué)方案，擁有彩色的透視功能，這意味著VR設(shè)備將不再只是一臺游戲機，而是變成生產(chǎn)力工具或者說效率工具，其應(yīng)用場景將擴展至辦公、會議，普及程度也隨之實現(xiàn)量級提升。這一方案印證了此前影創(chuàng)預(yù)測的XR產(chǎn)品演進路線，與我們的自研算法與技術(shù)積累方向不謀而合。作為國內(nèi)一家能同時提供VR/AR全棧產(chǎn)品級算法與系統(tǒng)的公司，影創(chuàng)多年以來一直在致力于研發(fā)光學(xué)、算法等底層技術(shù)的研究，并將這些技術(shù)開放授權(quán)給眾多合作伙伴。

一直以來，VR被當(dāng)作游戲機為大家廣泛熟知。Cambria的出現(xiàn)，VR與AR的融合，將催生出很多新的應(yīng)用場景，開啟VR新世界。VR設(shè)備將成為像電腦和手機一樣的生產(chǎn)力工具，融入我們的日常生活，成為生活、工作中不可或缺的一部分。佩戴上VR設(shè)備進行多地多人虛擬會議、又或是替代電腦成為我們的移動式辦公工具，無論你身處何地都能實現(xiàn)多屏辦公；無聊時還能足不出戶和朋友一起跨空間玩一個線上沉浸式劇本殺放松一下；如果你很忙沒時間去健身房，那還能來一場酣暢淋漓的VR運動……

（多屏辦公）

（虛擬會議）

（日常社交）

（運動健身）

那么，讓我們來解析一下，要實現(xiàn)Cambria上述功能和應(yīng)用場景，需要哪些核心技術(shù)與算法，以及影創(chuàng)在這方面的累積成果又有哪些呢？

01- 佩戴方式

（左為Cambria渲染模型；右為“騏驥”）

產(chǎn)品的舒適度，是影響消費者選擇的重要因素。VR設(shè)備作為頭戴式產(chǎn)品，即便許多消費者更習(xí)慣追求超高清畫面或是良好的沉浸感，但長時間佩戴后，臉部受壓迫，肩頸也會受到來自頭部的壓力，不適感與疲憊感隨之而來，從而導(dǎo)致體驗感變差，使用率大大減少。從Cambria的預(yù)告視頻中，我們了解到通過環(huán)形佩戴這種方式，將電池至于腦后位置的科學(xué)配重，有效分散了佩戴VR設(shè)備時的臉部壓力，更符合人體工程學(xué)，進而減少VR設(shè)備因沉重?zé)o法長時間佩戴的問題。而這，與我們今年1月展示的6DoF VR公版樣機“騏驥”的佩戴設(shè)計理念不謀而合，不得不感嘆一句“英雄所見略同”。

02- Pancake光學(xué)方案

（Cambria Pancake光路示意圖）

Pancake光學(xué)方案會使VR設(shè)備的體積縮?。ㄇ皻ず穸葟?cm左右變成2.5cm左右）、重量更輕（前殼重量從400g左右變成150g左右）。這是由于Pancake方案采用多鏡片折疊光路，可以使VR設(shè)備內(nèi)部結(jié)構(gòu)更加緊湊。但是光路的復(fù)雜程度直接導(dǎo)致了光學(xué)模組加工工藝難度的攀升，控制良率的難度相比傳統(tǒng)光學(xué)的單片菲涅爾透鏡更高。輕薄的光學(xué)模組加上環(huán)形佩戴方式，消費者在佩戴VR設(shè)備時舒適度會明顯提升。

Pancake光學(xué)方案可以實現(xiàn)大視野、出色的圖像性能以及超緊湊的尺寸，毋庸置疑這三點與未來VR設(shè)備的需求完美契合。因此，VR設(shè)備在體積和重量上都有新的跨越后，可供長時間佩戴，并且移動性增強，其應(yīng)用場景的選擇性將更為廣泛。未來的VR設(shè)備將不僅僅只是娛樂工具那么單一，而是變成了生產(chǎn)力工具。影創(chuàng)已經(jīng)聯(lián)合合作伙伴在Pancake光學(xué)方面做了多年的研發(fā)設(shè)計和方案積累，可以滿足多類屏幕和顯示參數(shù)的需求。

03- 彩色See through

（Cambria彩色See-through）

目前，VR設(shè)備使用空間范圍有限，這也是行業(yè)一直在攻克的難關(guān)之一。VR設(shè)備作為沉浸式體驗設(shè)備，佩戴后看不見真實世界，用戶在使用時頻繁地脫摘非常令人頭疼。在本屆大會上，See-through功能的重大改進也是亮點之一，從原先Quest 2的低分辨率單色See-through系統(tǒng)提升至高清晰度彩色See-through功能，用戶能夠在佩戴VR設(shè)備時，通過開啟對外的彩色攝像頭看見高清、彩色、無扭曲低延遲的真實世界，如此看來，VR與AR相融合的時代正在悄悄來臨。

若要實現(xiàn)高清晰度彩色See-through功能，則需要在VR頭顯上最少裝置2個RGB攝像頭。攝像頭存在著天然物理延遲的問題，因處理的信息量增長，高分辨率RGB攝像頭的延遲會比原先的灰度攝像頭更高。為了降低高分辨率RGB攝像頭的物理延遲，我們通過空間扭曲等一系列的技術(shù)對畫面進行預(yù)測及三維重構(gòu)，將真實世界通過渲染的方式呈現(xiàn)在用戶眼前，以此填補掉幀帶來的畫面缺失，從而降低物理延遲帶給用戶的不適感。另外，雖然RGB攝像頭比灰度攝像頭的物理延遲更高，但它能識別更多色彩，因此魯棒性更好，可以在更復(fù)雜的光照環(huán)境下使用，更精準(zhǔn)地識別手勢追蹤，SLAM空間定位功能也會隨之提升。

當(dāng)VR設(shè)備最重要的一個缺點被克服，便意味著其移動性大大增強。用戶不再拘泥于一個劃定的空曠環(huán)境，也不再需要頻繁地摘脫，而是能夠一鍵輕松切換虛擬世界與真實世界，VR與AR相結(jié)合的設(shè)備，確實非常令人向往。

可以預(yù)測，未來五年高端AR眼鏡將以Cambria的形態(tài)出現(xiàn)。目前市面上一些價格昂貴的高端AR眼鏡以及它們的應(yīng)用場景都將被具備彩色See-through功能的VR設(shè)備取代，因為它同時擁有更大的視場角、更好的顯示效果以及更低的價格，將全面替代目前傳統(tǒng)光學(xué)高端AR眼鏡涉足的教育、工業(yè)、文旅、醫(yī)療等行業(yè)。不難預(yù)見，在不遠(yuǎn)的將來，整個XR行業(yè)會有更大的格局變化。

04- 手柄自追蹤

（Cambria手柄）

上述我們說到，Cambria將使用RGB攝像頭實現(xiàn)高清晰度彩色See-through功能，能夠讓用戶在佩戴VR設(shè)備的情況下依然可以看見高清彩色真實世界。但RGB攝像頭沒有灰度攝像頭的濾光片，無法很好地識別紅外光，從而導(dǎo)致現(xiàn)在大部分VR設(shè)備所使用的紅外LED式圓環(huán)追蹤方式無法實現(xiàn)。那么，問題就來了，當(dāng)VR頭顯無法追蹤手柄，手柄該何去何從？答案很簡單，手柄實現(xiàn)自追蹤。

我們猜測，Cambria新手柄采用自追蹤模式，手柄上安裝有3個不同方向的相機，用于視覺VIO跟蹤定位。工作原理大概是手柄端實時進行視覺VIO算法，獨立解算位姿，并與頭顯進行視覺標(biāo)定。使用RGB攝像頭后，手柄能夠360度追蹤，不再受限于設(shè)備傳感器的FOV（視場角）大小，能夠獲得更大自由度的交互體驗。手柄自帶算力實現(xiàn)獨立SLAM空間定位后，原先集中于VR頭顯的算力負(fù)擔(dān)會分散，減少了負(fù)載和功耗，頭顯可以設(shè)計得更加輕便。另外，由于取消了紅外LED燈環(huán)，頭顯上的攝像頭采用可見光跟蹤，可以適應(yīng)更復(fù)雜的光照環(huán)境，改善在室外場景的使用體驗。

而實現(xiàn)手柄自追蹤，有一定的難度。首先，它需要在手柄上搭載更復(fù)雜的算法和更高算力的芯片。我們長期以來致力于研究高性能、低消耗的SLAM算法，因此能很輕松地在手柄上實現(xiàn)定位追蹤。其次，當(dāng)頭手沒有實時聯(lián)系時，頭部和手柄的坐標(biāo)系要做到三點統(tǒng)一需要一系列地圖和物體識別的技術(shù)，而我們同樣也有著這方面的雄厚積累。

手柄獨立意味著，將來它不再是VR產(chǎn)品的固定配件，而是成為一個選配件。那么，當(dāng)VR設(shè)備可以脫離手柄后，我們該以其他何種方式交互呢？讓我們一起往下看。

05- 自然手勢識別

（Cambria手勢）

當(dāng)VR設(shè)備搭載RGB攝像頭后，可以識別更多色彩，魯棒性更好，可以更精準(zhǔn)對手部動作進行識別。因此，自然手勢識別成為VR設(shè)備交互的最佳選擇。在日常使用場景中，用戶可以隨時隨地戴上VR設(shè)備，通過自然手勢進行一系列的操作，不需要再攜帶手柄，實現(xiàn)真正意義上的移動式便攜。

影創(chuàng)科技一直致力于自然手勢識別技術(shù)的研發(fā)，魯棒性好、低功耗、低時延、視場角大，在行業(yè)中屬于前沿水平。影創(chuàng)科技的全自由度自然手勢基于30個自由度以及用戶個性化的手掌參數(shù)，為用戶創(chuàng)造更“本能”更“真實”的交互體驗，可以不受固定姿態(tài)的限制，以任意手姿勢與虛擬對象進行交互，學(xué)習(xí)成本低。而手勢識別功能的增加，在VR與AR相融合的時代，將提升用戶的交互體驗，VR設(shè)備的移動性及實用性都將逐步提升。

（影創(chuàng)全自由度自然手勢）

06- 虛擬鍵盤

（Horizon Workrooms-虛擬鍵盤）

隨著VR設(shè)備功能的增加，其將從原先的娛樂產(chǎn)品蛻變成一個集娛樂、辦公、生活于一體的新一代通用計算平臺。當(dāng)我們想足不出戶玩一個沉浸式大型VR游戲的時候，便可以拿出手柄；當(dāng)我們想辦公、社交時，自然手勢則是最佳交互方式，當(dāng)代替鼠標(biāo)的自然手勢實現(xiàn)之后，它的好搭檔——鍵盤，自然也是不可或缺的一項。

通過深度學(xué)習(xí)算法，未來VR可以把重建好的虛擬鍵盤模型和實際物體貼合疊加，然后進行跟蹤，并且對其姿態(tài)進行準(zhǔn)確估計，從而實現(xiàn)虛擬鍵盤的應(yīng)用。虛擬鍵盤、自然手勢，甚至更多虛擬配件的出現(xiàn)，將幫助用戶實現(xiàn)無空間無時間限制的辦公方式，社交自然更是不言而喻。

影創(chuàng)物體錨點系統(tǒng)具備從物體建模到物體跟蹤的全流程系統(tǒng)。物體建模操作簡單，成功率高，還支持自建的模型和其他平臺建立的模型。物體跟蹤高精度高魯棒性，可以實現(xiàn)精準(zhǔn)虛實疊加，精度達到了毫米級，疊加鍵盤自然也不在話下。

（影創(chuàng)虛擬鍵盤）

另外，未來通過攝像頭，我們還可以對整個房間拍攝的圖像進行深度估計，并且對計算出來的深度點云信息進行融合，最終對房間建立一個完整的幾何描述。最終建立整個房間的具體位置的虛擬空間的對應(yīng)關(guān)系，從而將數(shù)字信息永久的放置在現(xiàn)實世界中。

07- 多任務(wù)3D屏幕

（Cambria多任務(wù)3D屏幕）

由于各種原因，許多人都需要多顯示器設(shè)置。但由于物理空間的限制以及多顯示器需考慮成本等多種因素，無法實現(xiàn)多屏辦公。然而，在虛擬現(xiàn)實的加持下，我們可以坐擁多屏3D交互，辦公、社交、觀影、游戲、音樂等等，你想要的都可以同時進行。最重要的是，它既沒有物理空間的限制，也沒有成本預(yù)算這種現(xiàn)實問題的考量。伴隨著自然手勢與虛擬鍵盤功能的推出，多任務(wù)3D屏幕將成為未來用戶的辦公選擇。無論用戶身處何處，只要有一個VR設(shè)備，便可以擴展自己的工作空間，實現(xiàn)辦公、社交、娛樂無縫切換。21世紀(jì)的我們，生活的主力依靠著手機與電腦、平板等電子產(chǎn)品。暢想一下未來，以上這些產(chǎn)品都被壓縮成一個便攜式設(shè)備，是何等便捷？

就在今年夏天，我們對外預(yù)告了新系統(tǒng)Tesseract OS，并推出了體驗版，邀請眾多開發(fā)者與用戶體驗。Tesseract OS采用了多任務(wù)窗口，采用全新Dock欄，弧形大屏等新風(fēng)格，與Meta所公布的多任務(wù)3D屏幕再一次不謀而合。另外我們還加入ASW、PTW等眾多渲染技術(shù)上的升級，降低延遲和眩暈，提升用戶體驗。

（Tesseract OS 多任務(wù)3D屏幕）

08- 體積視頻

（Cambria體積視頻）

體積視頻簡單來說就是將一連串的三維模型連接在一起，并讓他們動起來，能夠自由視角觀看。體積視頻給視頻賦予了體積的概念，讓二維視頻內(nèi)容成為三維立體。它利用攝像機采集到的深度色彩等數(shù)據(jù)通過算法將現(xiàn)實世界通過三維模型展現(xiàn)出來，可以在任何平臺上（手機、電腦、平板、VR設(shè)備等）播放，用戶可以在任意時間任意角度進行觀看，即賦予用戶使用 6DoF觀看視頻的權(quán)利。

簡單來說，就是實現(xiàn)全息影像功能。我們可以通過VR設(shè)備，看到一個身處不同空間的三維真人影像。在疫情肆虐地球的當(dāng)下，全息影像的功能顯得尤為重要。在Meta公布的視頻中，我們也看到了未來新健身的模式，在任何場合，都會有全息教練在用戶眼前指導(dǎo)用戶如何健身。不僅如此，體積視頻還能用于遠(yuǎn)程會議場景。會議是辦公里最無法克服空間問題的一項內(nèi)容，而虛擬會議能夠徹底解決解決空間所帶來的無法跨越的鴻溝。

想必大家對影創(chuàng)全息會議系統(tǒng)一定不陌生。它是一種全新的會議模式，能夠?qū)崿F(xiàn)遠(yuǎn)程合作及跨平臺信息分享，達到多人、多地的實時沉浸式會議。影創(chuàng)全息會議能夠?qū)崟r傳輸亞厘米精度的全息真人形象，且支持自然手勢、手柄及語音等多種交互方式，更支持多種類的虛擬數(shù)字形象，可謂是科技賦能新辦公模式。如此一來，VR設(shè)備成為生產(chǎn)力工具指日可待。

（影創(chuàng)全息會議系統(tǒng)）

綜合來講，Tesseract OS集成上述所有自研算法與技術(shù)，從而實現(xiàn)高性能、低延遲、豐富功能，也是目前行業(yè)內(nèi)少有能夠提供一站式解決方案的操作系統(tǒng)。相信就像Windows之于PC，Android之于手機，Tesseract OS將賦能VR成為新生產(chǎn)力工具。趣立科技是影創(chuàng)集團對外輸出Turn-Key方案的平臺，在底層算法和技術(shù)方面有雄厚積累，是國內(nèi)能同時提供VR/AR全棧產(chǎn)品級算法與系統(tǒng)的公司，并將這些技術(shù)開放授權(quán)給合作伙伴。元宇宙時代的序幕已經(jīng)拉開，一同跨入元宇宙世界的大門吧！

編輯：fqj