Paul Milgram 在 1994 年定義了著名的現(xiàn)實-虛擬連續(xù)體 ［1］。它一方面解釋了物理世界與另一方面完整的數字或計算機生成環(huán)境之間的過渡。但是，從技術的角度來看，引入了一個新的總稱，稱為擴展現(xiàn)實 （XR），通常稱為 XR。它是用于虛擬現(xiàn)實 （VR）、增強現(xiàn)實 （AR） 和混合現(xiàn)實 （MR） 以及沉浸式技術可能創(chuàng)造的未來現(xiàn)實的總稱。XR 涵蓋了真實和虛擬環(huán)境的全部范圍。在圖 1 中，Reality-Virtual Continuum 被新的總括術語擴展。如圖所示，出現(xiàn)了一個鮮為人知的術語，稱為增強虛擬性。該術語涉及一種方法，其中現(xiàn)實（例如用戶的手）出現(xiàn)在虛擬世界中。

圖 1 – XR擴展現(xiàn)實方案

一、XR擴展現(xiàn)實的概念和定義：

按照最常見的術語，XR擴展現(xiàn)實的三個主要場景定義如下。

增強現(xiàn)實 （AR）： 通過將虛擬空間的數字內容與現(xiàn)實世界混合，使用虛擬元素增強對真實環(huán)境的感知。Pokémon Go 和 Snapchat 過濾器是智能手機或平板電腦使用的此類技術的常見示例。AR 也廣泛應用于工業(yè)領域，工人可以戴上 AR 眼鏡在裝配、維護或培訓期間獲得支持。

增強虛擬 （AV） 使用真實元素增強對虛擬環(huán)境的感知?，F(xiàn)實世界的這些元素通常被實時捕獲并注入到虛擬環(huán)境中。注入到虛擬環(huán)境中的用戶身體的捕獲是旨在提高體現(xiàn)感的 AV 的一個眾所周知的示例。

虛擬現(xiàn)實 （VR） 應用程序使用耳機讓用戶完全沉浸在計算機模擬的現(xiàn)實中。這些耳機產生逼真的圖像和聲音，使用兩種感官來創(chuàng)建交互式虛擬世界。

混合現(xiàn)實 （MR） 該定義包括 AR 和 AV。它融合了真實世界和虛擬世界以創(chuàng)建復雜的環(huán)境，物理和數字元素可以實時交互。它被定義為真實和虛擬環(huán)境之間的連續(xù)統(tǒng)一體，但不包括兩者。

二、XR擴展現(xiàn)實系統(tǒng)

圖 2 顯示了擴展現(xiàn)實系統(tǒng)的簡化示意圖。

圖 2：XR擴展現(xiàn)實系統(tǒng)的主要組件

應用程序（Application）：在左側，用戶正在使用 XR 應用程序執(zhí)行任務。最新的XR4ALL 景觀報告提供了所有相關領域的完整概述，涵蓋廣告、文化遺產、教育和培訓、工業(yè) 4.0、健康和醫(yī)學、安全、新聞、社交 VR 和旅游。

交互（Interaction）：用戶與場景交互，他/她的交互被一系列輸入設備和傳感器捕獲，可以是視覺、音頻、運動和許多其他類型。

處理和渲染（Processing and rendering）：獲取的數據作為 XR 硬件的輸入，在渲染引擎中執(zhí)行進一步的必要處理。例如，渲染正確的視點或觸發(fā)與場景的期望交互。在同一份報告中，給出了主要算法和方法的概述。但是，渲染引擎不僅使用捕獲的數據，還使用來自其他來源的附加數據，例如邊緣云服務器或設備本身可用的 3D 數據。

反饋（Feedback）：然后將渲染的場景反饋給用戶，讓他/她感知場景。這是通過各種方式實現(xiàn)的，例如 XR 耳機或其他類型的顯示器和其他感官刺激。

［1］ P. Milgram， H. Takemura， A. Utsumi， and F. Kishino， “Augmented Reality： A class of displays on the reality-virtuality continuum”， Proc. SPIE vol. 2351， Telemanipulator and Telepresence Technologies， pp. 2351–34， 1994.

［2］ Ronald T. Azuma， “A Survey of Augmented Reality”， Presence： Teleoperators and Virtual Environments， vol. 6， issue 4， pp. 355-385， 1997.