VR 在游戲和互動(dòng)娛樂方面的前景已經(jīng)很清晰了。對(duì)于很多人來說，那是讓他們這么多年沒有放棄的原因。但是 VR 還有更多的潛力——成為一個(gè)像手機(jī)一樣改變世界的真正全新的計(jì)算平臺(tái)。
雖然這一愿景已經(jīng)持續(xù)了幾十年，并且在虛擬現(xiàn)實(shí)中占有突出的地位，真正讓 VR 廣泛應(yīng)用、沖擊大眾市場(chǎng)的道路卻不那么清晰。殺手級(jí)應(yīng)用會(huì)是什么樣的?什么樣的使用場(chǎng)景能夠更早的成為主流?哪些會(huì)滯后一些?
本文將和大家聊一聊各種消費(fèi)級(jí)應(yīng)用所需要的知識(shí)和能力。這張圖是整個(gè)分析的總覽，我們將在下面和大家詳細(xì)講述。
| Part 1：技術(shù)基礎(chǔ)
VR 不是單一的技術(shù)，而是很多技術(shù)的集成。這些技術(shù)大多處于不同的發(fā)展成熟階段。不同的消費(fèi)級(jí)應(yīng)用對(duì)于這些領(lǐng)域的應(yīng)用也不太一樣。所以任何對(duì)進(jìn)入市場(chǎng)時(shí)機(jī)的分析必須以對(duì)技術(shù)的了解為基礎(chǔ)。
VR 作為一個(gè)通用的計(jì)算平臺(tái)有四個(gè)廣泛的技術(shù)領(lǐng)域。
意圖捕捉（Intent Capture）
意圖捕捉，是一種能夠在任何時(shí)刻可靠和流暢地理解用戶需求的能力，或者叫做輸入方式，例如在VR游戲中的用戶行為捕捉。迄今為止，消費(fèi)級(jí) VR 在這方面相當(dāng)缺失。最近 Valve Lighthouse 和 Oculus Touch 的進(jìn)展將極大的改善這一處境。手勢(shì)輸入仍是用戶最自然的表達(dá)意圖的方式，下圖為Oculus Touch。
除了手勢(shì)輸入，由于目前絕大多數(shù)VR設(shè)備都是頭戴式，捕捉用戶頭部的運(yùn)動(dòng)也可以方便地讓用戶直接操作眼前看到的虛擬世界。三維空間的右手笛卡爾坐標(biāo)如下圖所示，pitch是圍繞X軸旋轉(zhuǎn)，yaw是圍繞Y軸旋轉(zhuǎn)，roll是圍繞Z軸旋轉(zhuǎn)。在VR頭盔中，歪頭就是roll，搖頭是yaw，點(diǎn)頭是pitch。
依賴重力感應(yīng)和陀螺儀傳感器，我們可以捕捉到用戶頭部的運(yùn)動(dòng)中心點(diǎn)，并映射到虛擬空間中的坐標(biāo)上，如下圖中綠點(diǎn)所示，從而實(shí)現(xiàn)某些用戶交互，如判斷是否激活當(dāng)前空間內(nèi)紅框區(qū)域所代表的興趣點(diǎn)。
人物捕捉（Persona Capture）
人物捕捉，包括感知、編碼、重現(xiàn)使用者的外觀、行為、情緒、非語言暗示等目前應(yīng)用程序需要的信號(hào)?？梢韵胂?，未來商務(wù)人士不需要做空中飛人，就可以借助VR開啟各種虛擬會(huì)議，你可以觀察到與會(huì)者的一舉一動(dòng)，甚至表情和情緒。但目前，這是技術(shù)領(lǐng)域最不成熟的一塊，尤其缺乏消費(fèi)級(jí)的解決方案。目前的方案大都需要借助一些輔助設(shè)備的幫忙，而捕捉到的人物精細(xì)度已經(jīng)越來越高，可以應(yīng)用在影視創(chuàng)作和游戲開發(fā)中了。下圖是利用kinect實(shí)時(shí)捕捉臉部運(yùn)動(dòng)的例子。
不只是面部表情，全身動(dòng)作也可以借助光學(xué)設(shè)備捕捉到。原理是多臺(tái)相機(jī)從不同角度拍攝的圖像被采集到計(jì)算機(jī)之后，通過視覺算法過濾無用的信息，再計(jì)算出每個(gè)標(biāo)記點(diǎn)的空間位置，進(jìn)而根據(jù)已知的骨骼信息得到關(guān)節(jié)的旋轉(zhuǎn)角度。
如下圖就是通過同一個(gè)標(biāo)記點(diǎn)在兩臺(tái)相機(jī)畫面中的位置，解算出它的空間位置的簡(jiǎn)單數(shù)學(xué)表達(dá)，以及捕捉到的動(dòng)作實(shí)例。
環(huán)境捕捉（Environment Capture）
環(huán)境捕捉，指的是感知、編碼、重現(xiàn)真實(shí)世界的環(huán)境。環(huán)境捕捉可以分為相對(duì)簡(jiǎn)單的 360°全景視頻和全景幾何捕捉——后者需要應(yīng)用更加復(fù)雜的計(jì)算機(jī)視角技術(shù)。
這些技術(shù)在飛快的向成熟發(fā)展，Jaunt VR、NextVR、GoPro、Matterport 這些公司都在進(jìn)行緊鑼密鼓的研發(fā)，很快就會(huì)出現(xiàn)完整的商品。
通過全景攝像設(shè)備捕捉到的影像或幾何信息，經(jīng)過攝像機(jī)標(biāo)定、傳感器圖像畸變校正、圖像投影變換、匹配點(diǎn)選取、全景圖像拼接和融合，以及亮度與顏色的均衡處理等，就可以得到VR頭盔中看到的360度視頻影像了。
VR頭盔的兩個(gè)鏡片可以看成兩個(gè)完全相同的放大鏡，如下圖光路剖面圖所示，人眼處于左側(cè)實(shí)線與光軸的焦點(diǎn)處，中間的為雙凸鏡片，右側(cè)為屏幕，由于鏡片有彎折光線的作用，人眼看到屏幕最上方x位置，而給人的感覺是沿著虛線從更高的位置進(jìn)入人眼的，仿佛把屏幕放大到了x’的那么大。
VR頭盔鏡片呈現(xiàn)出更大視野的同時(shí)，也帶來了畸變。
畸變用通俗的話來說就是圖像扭曲變形，給人以中間凸出（桶形畸變）或是凹陷（負(fù)畸變），這也屬于像差的一種，是由于人眼處于光學(xué)系統(tǒng)中的前后位置不同造成的。因此，在圖像呈現(xiàn)于使用者之前，先做一次桶形畸變。
如下圖所示，用以抵消鏡片帶來的枕形畸變，從而使使用者感受不到由于鏡片畸變?cè)斐傻牟徽鎸?shí)感。不同VR頭盔的鏡片有不同的畸變系數(shù)，組成一個(gè)畸變補(bǔ)償方程，來適配不同畸變程度的鏡片，從而達(dá)到能夠通用不同鏡片的目的。
環(huán)境渲染（Environment Rendering）
環(huán)境渲染是很多人想起 VR 時(shí)想到的：以高質(zhì)量渲染虛擬的世界，其中包括了所有相關(guān)的感知方式。Oculus 的演示表現(xiàn)了消費(fèi)級(jí)產(chǎn)品的出色渲染能力，給用戶帶來身臨其境的沉浸感，這也標(biāo)志的現(xiàn)代 VR 的來臨。VR頭盔強(qiáng)調(diào)的沉浸感，一方面取決于屏幕的大小，另一方面取決于鏡片彎折光線的能力，也就是可視角(FOV)的概念，這也是廣大VR廠商經(jīng)常宣傳的一個(gè)參數(shù)。下圖是我們渲染的一個(gè)影院三維模型，以及在移動(dòng)設(shè)備上呈現(xiàn)出的虛擬影廳效果。
當(dāng)然，所有這些領(lǐng)域都包含了很多獨(dú)立的技術(shù)，任何對(duì)于一個(gè) VR 應(yīng)用近期潛力的真實(shí)評(píng)估都需要比這里列出的更加詳細(xì)的細(xì)節(jié)。
| Part2：設(shè)計(jì)元素
再好的技術(shù)，都需要友好的呈現(xiàn)給使用者。我們把這部分要講述的內(nèi)容廣義的稱之為“設(shè)計(jì)元素”。它包括了以下三個(gè)方面。
可用性（Usability）
包括了 UI/UX 的所有方面。用戶界面和用戶體驗(yàn)，是消費(fèi)級(jí)產(chǎn)品最重要的部分。
如何才能簡(jiǎn)單高效的將技術(shù)能力傳達(dá)給用戶，同時(shí)又能準(zhǔn)確的捕捉用戶意圖，相信隨著意圖捕捉的技術(shù)能力越來越成熟，這部分會(huì)有更好的解決。
敘述（Narrative）
指的是我們講述故事、小說或其他什么東西的能力。
這些都充滿了信息，引人入勝，并且能引起人的共鳴。在我看來，未來的VR電影，觀影者不僅能感到身臨其境，還能獲得更有很強(qiáng)的參與感：觀影者可以隨時(shí)望向任何角度，從而獲得無數(shù)個(gè)可能的視角。從某種程度上來說，這種VR電影體驗(yàn)更像是為觀影者提供一些素材，而觀影者根據(jù)自身的關(guān)注點(diǎn)來“剪輯”影片，通過不同的角度來自我理解和詮釋影片。
信息呈現(xiàn)（Information Presentation）
指的是我們?cè)诿枥L想法、數(shù)據(jù)、圖表和其他抽象概念需要的專業(yè)知識(shí)：思維導(dǎo)圖，信息圖表，技術(shù)圖紙等等。
毫無疑問的是，所有的設(shè)計(jì)領(lǐng)域——可用性、敘述、信息呈現(xiàn)——在 VR 中都還處于起步階段。
| Part3：應(yīng)用程序
既然我們已經(jīng)知道了技術(shù)和設(shè)計(jì)的必要元素，那么再來看看應(yīng)用程序吧。在圖表中用線的粗細(xì)表示了應(yīng)用對(duì)于這些領(lǐng)域依賴的強(qiáng)弱。(圖見本文第二張總覽)
有些應(yīng)用擁有很高的技術(shù)門檻，如果這些技術(shù)基礎(chǔ)沒有改進(jìn)，這些應(yīng)用就無法真正進(jìn)入市場(chǎng)。在這些領(lǐng)域，新企業(yè)如果想要起步，就需要進(jìn)行這些基礎(chǔ)的研發(fā)。個(gè)人通信就是一個(gè)很好的例子：我們還沒有消費(fèi)級(jí)的解決方案能夠處理實(shí)時(shí)人物捕捉問題。一旦這些技術(shù)被開發(fā)出來，這塊空間就將向大家敞開。
其他領(lǐng)域則更多的受限于我們的設(shè)計(jì)知識(shí)——我們不知道什么樣的體驗(yàn)才是最好的。生產(chǎn)力工具就是最好的例子，很快 Oculus 和 Vive 都將把優(yōu)秀的手勢(shì)識(shí)別輸入控制器推向市場(chǎng)，而剩下的主要技術(shù)障礙——意圖識(shí)別——也將不復(fù)存在。但是 VR 中的 Word、Excel、PowerPoint 和 Photoshop 將是什么樣的?它們?nèi)绾喂ぷ?我認(rèn)為我們對(duì)于可用性和界面設(shè)計(jì)的不了解才是我們面臨的主要障礙。
那么，什么樣的應(yīng)用可以投向市場(chǎng)，或者可以很快的投向市場(chǎng)，什么樣的還需要等待時(shí)機(jī)?
短期（9-18 個(gè)月）
游戲：當(dāng)然最強(qiáng)的依賴就是渲染了，這一塊已經(jīng)相當(dāng)成熟。對(duì)于其他技術(shù)的依賴較弱，并且使用一些早期的技術(shù)就可以工作。敘述手段在短期內(nèi)可能會(huì)有一些問題，因?yàn)槿藗冃枰W(xué)會(huì)怎樣建立和展開故事線。
直播：除了渲染，主要的依賴就是環(huán)境捕捉了——但是這一塊發(fā)展真的很快!直播依賴的其他部分內(nèi)容不在本文討論的范疇內(nèi)，例如內(nèi)容運(yùn)營(yíng)，云計(jì)算技術(shù)等等。
不動(dòng)產(chǎn)：這類應(yīng)用的門檻在于快速廉價(jià)準(zhǔn)確的捕捉室內(nèi)環(huán)境。Matterport(室內(nèi)環(huán)境建模軟件)這類的軟件就是這樣。
新聞：高效的 VR 新聞需要將敘述技術(shù)和環(huán)境捕捉相結(jié)合——這兩個(gè)領(lǐng)域都需要更多的發(fā)展提高。不過使用現(xiàn)有的技術(shù)進(jìn)行早期的嘗試也能夠成功，然后再慢慢的結(jié)合最新的技術(shù)成果。今年11月6日，《紐約時(shí)報(bào)》正式上架虛擬現(xiàn)實(shí)新聞客戶端“NYT VR”，為讀者提供“浸入式”視頻，號(hào)稱“看新聞視頻比3D/IMAX還帶感”。
#FormatImgID_14#
中期（1.5-3年）
生產(chǎn)力工具
這類 APP 的存亡取決于它們激發(fā)、捕捉和響應(yīng)我們的意圖的能力。精準(zhǔn)高效的輸入解決方案即將投入使用，不過設(shè)計(jì)和開發(fā)人員還需要花一些時(shí)間才能弄清如何更好的利用這些輸入設(shè)備。雖然這類應(yīng)用被列入中期，但是很多重要的作品都需要數(shù)年的時(shí)間才能完善并面世。
社區(qū)
和其他人交流感興趣的話題——這也是互聯(lián)網(wǎng)最初和最持久的應(yīng)用。在 VR 中實(shí)現(xiàn)它需要很好的人物捕捉(主要障礙)以及出色的產(chǎn)品設(shè)計(jì)，不過這類應(yīng)用在相對(duì)較短的時(shí)間內(nèi)就可以使用了。
電影
故事敘述不受主要的技術(shù)壁障現(xiàn)實(shí)，并且全景相機(jī)正在迅速的發(fā)展?，F(xiàn)階段最主要的難點(diǎn)就是創(chuàng)意——如何在這個(gè)媒介中講故事。Oculus 、Google 以及許多傳統(tǒng)工作室和制作公司已經(jīng)在努力的探索這一領(lǐng)域了。
教育
這有點(diǎn)難分析，因?yàn)椴煌瑢W(xué)科的需求不同。歷史和文學(xué)與影院和旅行有很多相似之處，而細(xì)胞生物學(xué)和技能訓(xùn)練則更像游戲。
旅行
這幾乎全靠環(huán)境捕捉——讓我們感覺我們真的在哪里，這需要盡可能高的保真度和盡可能多的感官渠道。
更遠(yuǎn)一些 (3-5年)
商務(wù)會(huì)談
需求很復(fù)雜，從高還原的人際關(guān)系，信息和思想的呈現(xiàn)，到可靠的產(chǎn)品設(shè)計(jì)。目前的會(huì)議解決方案例如 GoToMeeting 體驗(yàn)非常糟糕，在個(gè)人和公司轉(zhuǎn)而使用這類技術(shù)前還有很多需要改進(jìn)的地方。
個(gè)人通信
這類應(yīng)用還很遙遠(yuǎn)，它需要能捕捉細(xì)微動(dòng)作的人物捕捉技術(shù)，包括所有人類使用的非語言交流方式。除非有重大的技術(shù)突破，否則不會(huì)出現(xiàn)令人滿意的解決方案來取代現(xiàn)有的通信方式。
擴(kuò)展知覺
另一種很難分析的應(yīng)用——通過數(shù)據(jù)展示以及感官輸入這樣全新的視角向我們展示現(xiàn)實(shí)和虛擬的世界。這需要等待設(shè)計(jì)準(zhǔn)則的成熟以及最合適的數(shù)據(jù)流才能變得實(shí)用。
| 我們還缺少些什么?
在這篇分析里，主要講解了不同 VR 應(yīng)用的技術(shù)和設(shè)計(jì)需求——這也是決定能否做出有競(jìng)爭(zhēng)力的產(chǎn)品的主要因素。但是在 VR 成為一個(gè)新的計(jì)算平臺(tái)的過程中還有很多其他問題需要解決。其中一部分如下：
中間件，引擎，分布式平臺(tái)，授權(quán)工具。
這些都是一些幕后的模塊，它們對(duì)于將應(yīng)用推向市場(chǎng)很重要。當(dāng)然，它們中的很多都在短期內(nèi)會(huì)產(chǎn)生機(jī)會(huì)。
市場(chǎng)規(guī)模，貨幣化，商業(yè)模型。
所有這些應(yīng)用都擁有廣闊的市場(chǎng)，有一些的市場(chǎng)特別大，而有一些則有明確的貨幣化的道路?；诓粍?dòng)產(chǎn)的商業(yè)和基于體育在線直播的商業(yè)是完全不同的。
消費(fèi)者的廣泛接受以及頭戴設(shè)備的滲透。
有一些應(yīng)用需要廣大的消費(fèi)者作為基礎(chǔ)。而有一些則只需要早期的用戶就可以啟動(dòng)。
核心觀點(diǎn)引自國外作者Beau Cronin，這里面還有更多VR相關(guān)內(nèi)容，有興趣可以看看。
