中國(guó)智慧家庭產(chǎn)業(yè)聯(lián)盟
2017年11月
引言
虛擬現(xiàn)實(shí)（Virtual Reality）技術(shù)已經(jīng)列入《十三五國(guó)家科技創(chuàng)新規(guī)劃》十大新一代信息技術(shù)，VR產(chǎn)業(yè)跨界融合明顯、業(yè)務(wù)形態(tài)豐富、產(chǎn)業(yè)潛力大、社會(huì)效益強(qiáng)，將給新一代信息通信技術(shù)ICT發(fā)展提供新的動(dòng)能。雖然目前VR可能被視作正處在走出期望幻滅低谷的階段，但是作為一個(gè)具有較長(zhǎng)發(fā)展歷史，經(jīng)歷完整Gartner技術(shù)成熟度曲線的產(chǎn)業(yè)，隨著真實(shí)應(yīng)用需求的增加，可以相信這是一個(gè)新的起點(diǎn)，VR時(shí)代的大幕正徐徐開啟，將成為“下一代互聯(lián)網(wǎng)”和“下一代計(jì)算平臺(tái)”，給人們的生產(chǎn)方式和生活方式帶來(lái)革命性變化。
中國(guó)交互式網(wǎng)絡(luò)電視（IPTV）十多年的持續(xù)創(chuàng)新發(fā)展，已成為融合傳統(tǒng)媒體和新興媒體網(wǎng)絡(luò)傳播的主導(dǎo)渠道，成為提高信息消費(fèi)供給水平豐富數(shù)字創(chuàng)意內(nèi)容和服務(wù)的重要方式。依托IPTV業(yè)務(wù)、網(wǎng)絡(luò)和終端在智慧家庭的規(guī)?；采w能力，以及IPTV領(lǐng)域的技術(shù)業(yè)務(wù)創(chuàng)新活力，結(jié)合VR近眼顯示、渲染處理、網(wǎng)絡(luò)傳輸和內(nèi)容制作技術(shù)的最新成果，堅(jiān)持以應(yīng)用為驅(qū)動(dòng)，在應(yīng)用中改進(jìn)VR沉浸體驗(yàn)、提高VR虛實(shí)交互，可以率先邁出規(guī)?；渴餓PTV“VR+”業(yè)務(wù)創(chuàng)新的步伐。
本白皮基于中國(guó)智慧家庭產(chǎn)業(yè)聯(lián)盟在IPTV和VR領(lǐng)域的研究和驗(yàn)證工作，在聯(lián)盟成員的支持和協(xié)同下編制完成，旨在對(duì)IPTV結(jié)合VR的技術(shù)產(chǎn)業(yè)發(fā)展提出洞察，闡述IPTV VR應(yīng)用場(chǎng)景及其邏輯，并對(duì)IPTV VR的技術(shù)、業(yè)務(wù)、體驗(yàn)、終端和網(wǎng)絡(luò)進(jìn)行描述和展望，期望形成產(chǎn)業(yè)共識(shí)，加快IPTV“VR+”創(chuàng)新的步伐。
目錄
1、IPTV的發(fā)展現(xiàn)狀及趨勢(shì)
1.1 IPTV引領(lǐng)和推動(dòng)寬帶網(wǎng)絡(luò)及視頻業(yè)務(wù)發(fā)展
IPTV業(yè)務(wù)從2005年開始，十二年的發(fā)展推動(dòng)視頻成為運(yùn)營(yíng)商第四個(gè)上億用戶規(guī)模的基礎(chǔ)業(yè)務(wù)，成為融合傳統(tǒng)媒體和新興媒體網(wǎng)絡(luò)傳播的重要渠道。2005年~2014年，IPTV業(yè)務(wù)以標(biāo)清為主，高清為輔，視頻成為寬帶主要的業(yè)務(wù)，有效地推動(dòng)了光進(jìn)銅退的寬帶發(fā)展。2015年~2017年，IPTV以4K技術(shù)為引領(lǐng)，三年新增用戶數(shù)超過(guò)過(guò)去十年的總數(shù)，視頻成為創(chuàng)新基礎(chǔ)業(yè)務(wù)，有效地推動(dòng)百兆寬帶成為剛需。IPTV成為一個(gè)新的融合娛樂(lè)視頻、通信視頻、行業(yè)視頻、增值業(yè)務(wù)的產(chǎn)業(yè)，成為智慧家庭的核心服務(wù)。
圖1中國(guó)電信IPTV寬帶滲透率
1.2 VR是IPTV體驗(yàn)提升和業(yè)務(wù)創(chuàng)新的必然選擇
VR時(shí)代的大幕已經(jīng)開啟，VR時(shí)代將沿著沉浸體驗(yàn)、虛實(shí)交互、虛實(shí)一體的方向發(fā)展，預(yù)計(jì)將成為“下一代互聯(lián)網(wǎng)”和“下一代計(jì)算平臺(tái)”，深刻改變未來(lái)的生活和生產(chǎn)方式。高盛公司的VR報(bào)告表示，VR正在加速向生產(chǎn)與生活領(lǐng)域滲透，預(yù)計(jì)2025年VR和AR市場(chǎng)規(guī)模將超過(guò)TV市場(chǎng)，VR不僅在視頻、游戲、社交等大眾領(lǐng)域，在很多諸如工業(yè)、醫(yī)療、教育等行業(yè)領(lǐng)域擁有很大的潛力。
IPTV業(yè)務(wù)的視頻體驗(yàn)從標(biāo)清、高清向4K/全4K發(fā)展，同時(shí)拉動(dòng)百兆寬帶的發(fā)展和普及，然而由于家庭電視觀看設(shè)備及距離的約束，傳統(tǒng)電視視頻應(yīng)用的用戶體驗(yàn)已達(dá)極限，同時(shí)傳統(tǒng)兩維平面視頻的網(wǎng)絡(luò)需求也難以繼續(xù)構(gòu)成千兆寬帶需求。而VR天然的沉浸特性和高帶寬需求都指引著IPTV業(yè)務(wù)創(chuàng)新和體驗(yàn)提升向VR時(shí)代方向發(fā)展。
圖2 IPTV業(yè)務(wù)體驗(yàn)演進(jìn)趨勢(shì)
2、VR發(fā)展趨勢(shì)與關(guān)鍵挑戰(zhàn)
2.1 VR是與虛擬世界感知、交互、融合的全新體驗(yàn)
存在即感知，世界乃虛擬。從視覺(jué)的數(shù)字化和虛擬化開始，世界的虛擬化是一個(gè)無(wú)法逆轉(zhuǎn)的趨勢(shì)。隨著科技的進(jìn)步，人的大腦終將能夠接入計(jì)算機(jī)，意識(shí)和感官終將被數(shù)字化，虛擬和現(xiàn)實(shí)的邊界終將逐漸消解。其實(shí)游戲、電影所表達(dá)的就是一個(gè)虛擬世界，我們看到的視頻，從某種意義來(lái)說(shuō)，就是一些真實(shí)世界被數(shù)字化和虛擬化以后，重新呈現(xiàn)的效果，社交網(wǎng)絡(luò)把真實(shí)生活中的人與人的關(guān)系數(shù)字化放到虛擬網(wǎng)絡(luò)世界中。當(dāng)互聯(lián)網(wǎng)絡(luò)和虛擬技術(shù)為人們構(gòu)建與真實(shí)世界或者說(shuō)我們所生活世界對(duì)應(yīng)的虛擬空間，并可以進(jìn)行信息和物質(zhì)的交互，意識(shí)和感官都可以被替代的時(shí)候，何為虛擬？何為現(xiàn)實(shí)？虛擬技術(shù)將連接虛擬和現(xiàn)實(shí)，打開新的感知、交互、融合的維度，在那個(gè)維度里，現(xiàn)實(shí)無(wú)足輕重，體驗(yàn)才是王國(guó)真正的貨幣，人類將用全新的方式感知萬(wàn)物，感知彼此。
VR的沉浸感知體驗(yàn)
虛擬現(xiàn)實(shí)的目標(biāo)在于讓使用者在感官上難以分辨虛擬世界和現(xiàn)實(shí)世界，這些感知體驗(yàn)包括了視覺(jué)、聽覺(jué)、觸覺(jué)、嗅覺(jué)、味覺(jué)和重力感知等多個(gè)維度。目前VR領(lǐng)域最主要發(fā)展方向是視覺(jué)呈現(xiàn)方式上，現(xiàn)在主流的視覺(jué)呈現(xiàn)方式是由LCD或OLED近眼顯示屏加菲涅爾光學(xué)透鏡為成像核心的VR頭戴式顯示器（HMD）。近眼顯示屏分辨率從現(xiàn)在主流的雙眼2K到一兩年內(nèi)升級(jí)到4K，一直到視網(wǎng)膜分辨率級(jí)別的16K，將逐步提升視覺(jué)感官效果，去掉紗窗效應(yīng)，達(dá)到人眼看不出差別的效果。而在光學(xué)成像上通過(guò)透鏡或透鏡組的優(yōu)化設(shè)計(jì)，從現(xiàn)在的90~120度視場(chǎng)角（FOV）逐漸發(fā)展到未來(lái)可以達(dá)到200度接近人眼真實(shí)的視場(chǎng)角。在聽覺(jué)呈現(xiàn)上，采用3D聲場(chǎng)音效，聲音的混響、方位、衰減、空間化及多角度音效，可以再現(xiàn)現(xiàn)場(chǎng)級(jí)別的聲效。除了視聽感知體驗(yàn)的繼續(xù)提升，未來(lái)的突破口在于建立多維度感知能力，人在現(xiàn)實(shí)世界的感知是多個(gè)維度的，但目前虛擬現(xiàn)實(shí)領(lǐng)域?qū)τ|覺(jué)、嗅覺(jué)、味覺(jué)等方面關(guān)注較少，體驗(yàn)的真實(shí)性和實(shí)時(shí)性不足。
VR的交互行為體驗(yàn)
虛擬現(xiàn)實(shí)的交互行為體驗(yàn)體現(xiàn)在兩個(gè)層面，一方面是在虛擬現(xiàn)實(shí)內(nèi)容里的互動(dòng)，另一方面是在體驗(yàn)自如的交互技術(shù)，都是構(gòu)成與虛擬世界交互體驗(yàn)的重要研究方向。
VR交互內(nèi)容方面可以體現(xiàn)在：VR視頻的多線程視頻，讓觀眾以其中一員的身份參與電影中，甚至可以通過(guò)交互選擇影響進(jìn)展和結(jié)局，那將是一種全新的觀影體驗(yàn)。而對(duì)于VR社交，VR教育，VR游戲等交互性應(yīng)用，用戶可以在虛擬世界中與其他用戶或者虛擬人和物進(jìn)行交流和交互，獲得類似于真實(shí)世界中的交互體驗(yàn)。
在交互技術(shù)方面，可以與人工智能融合，實(shí)現(xiàn)對(duì)外部環(huán)境的模擬和識(shí)別。光場(chǎng)顯示、裸手交互、現(xiàn)實(shí)捕捉、空間捕捉、表情捕捉、目光追蹤、即時(shí)定位與地圖構(gòu)建(SLAM)、大空間定位技術(shù)和由內(nèi)向外定位技術(shù)，都是目前研究的熱點(diǎn)，將會(huì)極大地?cái)U(kuò)展虛擬現(xiàn)實(shí)的使用場(chǎng)景和交互感受。
VR的融合構(gòu)想體驗(yàn)
虛擬現(xiàn)實(shí)的未來(lái)終極目標(biāo)應(yīng)該是虛擬世界與真實(shí)世界的融合，人與虛擬世界的融合，感知意識(shí)與Cyber網(wǎng)絡(luò)世界的融合。
這種融合的主要基礎(chǔ)是腦機(jī)技術(shù)和虛擬孿生技術(shù)。腦機(jī)技術(shù)通過(guò)對(duì)人腦和神經(jīng)信號(hào)的直接讀寫來(lái)完成人與外界的感知交互?？梢酝ㄟ^(guò)直接讀取人的腦電波或神經(jīng)信號(hào)來(lái)控制對(duì)應(yīng)機(jī)器執(zhí)行相應(yīng)操作，也可以直接通過(guò)對(duì)相應(yīng)器官、腦和神經(jīng)進(jìn)行針對(duì)性刺激，而讓人產(chǎn)生特定的聲音影像感知。雖然目前無(wú)論是非侵入式還是侵入式的腦機(jī)技術(shù)都處于非常初級(jí)的階段，但未來(lái)預(yù)計(jì)腦機(jī)將淘汰各種顯示屏、音響系統(tǒng)、觸覺(jué)等各種感官系統(tǒng)，變成人與外接最重要最全面的交互感知方式。而人體虛擬孿生技術(shù)是伴隨腦機(jī)技術(shù)成長(zhǎng)的不可或缺的內(nèi)容。通過(guò)虛擬孿生技術(shù)，可以對(duì)人體進(jìn)行100%符合度的數(shù)字建模，一方面可以應(yīng)用于醫(yī)學(xué)，另一方面更可以對(duì)人腦、神經(jīng)和意識(shí)進(jìn)行研究和創(chuàng)造性應(yīng)用，像電影《阿凡達(dá)》那種意識(shí)轉(zhuǎn)移可以讓人有完全真實(shí)的體驗(yàn)和感受，如可以在不同的VR社區(qū)中切換以體驗(yàn)不同的感受，過(guò)著不同的生活，并在人的肉體衰老后，將意識(shí)上傳至虛擬生活網(wǎng)絡(luò)，變成真正的意識(shí)永生。
圖3虛擬現(xiàn)實(shí)體驗(yàn)發(fā)展趨勢(shì)
2.2 VR技術(shù)進(jìn)展已推動(dòng)沉浸感知體驗(yàn)的持續(xù)提升
大眾對(duì)虛擬現(xiàn)實(shí)的認(rèn)知由終端設(shè)備向沉浸感知體驗(yàn)演變。沉浸感知體驗(yàn)是虛擬現(xiàn)實(shí)系統(tǒng)最基本的特征，讓人脫離真實(shí)環(huán)境，沉浸到虛擬空間之中，獲得與真實(shí)世界相同或相似的感知。
沉浸感知體驗(yàn)隨著VR各方面技術(shù)的不斷發(fā)展而得到不斷的提升，大體可分為三個(gè)發(fā)展階段。
第一階段為用戶沉浸感增強(qiáng)階段，隨著在HMD分辨率、刷新率、FOV技術(shù)上的不斷突破，端到端傳輸解決方案的推陳出新，逐漸克服用戶眩暈問(wèn)題，逐步提升用戶沉浸感體驗(yàn)。此階段依靠全封閉的頭戴顯示設(shè)備檢測(cè)頭部三個(gè)維度旋轉(zhuǎn)信息（左右旋轉(zhuǎn)pitch、上下旋轉(zhuǎn)yaw、軸向旋轉(zhuǎn)roll），為用戶提供3DoF（3 Degrees of Freedom）體驗(yàn)。結(jié)合耳機(jī)、運(yùn)動(dòng)傳感器或其他設(shè)備，為用戶提供視覺(jué)、聽覺(jué)、觸覺(jué)等方面的感官體驗(yàn)，使達(dá)到身臨其境的感覺(jué)。
第二階段為用戶交互體驗(yàn)增強(qiáng)階段，根據(jù)用戶行為，模擬現(xiàn)實(shí)世界中的語(yǔ)音、聲音、光線、溫度等各種感官觸覺(jué)，實(shí)現(xiàn)用戶與虛擬環(huán)境交互的良好體驗(yàn)。相對(duì)于第一階段，除了為用戶提供三個(gè)維度旋轉(zhuǎn)帶來(lái)的視聽體驗(yàn)效果外，還提供向前/向后、向左/向右、向上/向下三個(gè)位置維度在有限范圍內(nèi)的頭部運(yùn)動(dòng)體驗(yàn)。此階段依賴光場(chǎng)技術(shù)、點(diǎn)云技術(shù)的發(fā)展，借助混合現(xiàn)實(shí)MR頭盔、輕型化HMD的不斷更新?lián)Q代，為用戶提供具有立體視差、動(dòng)態(tài)對(duì)焦、運(yùn)動(dòng)視差、不同角度光照具有變化效果的有限范圍內(nèi)互動(dòng)3DoF+體驗(yàn)。
第三階段為用戶融合虛擬環(huán)境階段，模擬人腦感官機(jī)理，通過(guò)一系列刺激手段“欺騙”人腦，使用戶徹底融入虛擬世界，無(wú)法區(qū)分現(xiàn)實(shí)世界與虛擬世界。這個(gè)階段借助于成熟光場(chǎng)采集、傳輸、顯示技術(shù)和實(shí)時(shí)建模技術(shù)，以輕型化視網(wǎng)膜屏為顯示載體，借助多感知技術(shù)實(shí)現(xiàn)左右旋轉(zhuǎn)、上下旋轉(zhuǎn)、軸向旋轉(zhuǎn)、向前/向后、向左/向右、向上/向下的6DoF（6 Degrees of Freedom）體驗(yàn)，為用戶提供完全的虛實(shí)一體化體驗(yàn)。
圖4 VR感知體驗(yàn)逐漸提升的三個(gè)階段
為了對(duì)VR各發(fā)展階段相關(guān)技術(shù)進(jìn)行規(guī)范化和標(biāo)準(zhǔn)化，促進(jìn)VR產(chǎn)業(yè)的健康發(fā)展，MPEG組織專門成立了一個(gè)獨(dú)立的OMAF(Omnidirectional Media Format)工作組，其主要任務(wù)是對(duì)VR媒體（包括視頻，圖像，音頻和文本）的編碼、存儲(chǔ)、傳輸和呈現(xiàn)的格式進(jìn)行統(tǒng)一。預(yù)計(jì)在2018年初發(fā)布第一個(gè)OMAF標(biāo)準(zhǔn)；云編解碼、AR/VR音頻和點(diǎn)云壓縮相關(guān)標(biāo)準(zhǔn)預(yù)計(jì)在2019年到2020年標(biāo)準(zhǔn)化，與此同時(shí)，OMAF的第二個(gè)關(guān)于3DoF+的版本發(fā)布，在2020年到2022年，制定光場(chǎng)技術(shù)相關(guān)的新型視頻編碼標(biāo)準(zhǔn)，在此期間，制定沉浸式媒體應(yīng)用層格式標(biāo)準(zhǔn)，有效支撐VR產(chǎn)業(yè)的規(guī)范化。
圖5 MPEG-OMAF Roadmap
2.3 VR在行業(yè)和大眾領(lǐng)域的產(chǎn)業(yè)應(yīng)用曙光已現(xiàn)
VR產(chǎn)業(yè)鏈中，工具和設(shè)備類可細(xì)分為輸入設(shè)備、輸出設(shè)備、顯示設(shè)備、拍攝設(shè)備、以及相關(guān)軟件等；內(nèi)容制作可細(xì)分為影視、游戲等內(nèi)容；平臺(tái)可分為應(yīng)用商店、社交影院、實(shí)體體驗(yàn)店、播放器等內(nèi)容；行業(yè)應(yīng)用可細(xì)分為工業(yè)應(yīng)用和大眾應(yīng)用。國(guó)際電子信息巨頭企業(yè)將虛擬現(xiàn)實(shí)提升到戰(zhàn)略高度，積極布局構(gòu)建虛擬現(xiàn)實(shí)產(chǎn)業(yè)生態(tài)。Facebook、HTC、三星、索尼、微軟、谷歌、蘋果等國(guó)際巨頭企業(yè)搶占身位，在立體顯示、數(shù)據(jù)圖像處理、體感控制、智能交互等方面進(jìn)行了大量的技術(shù)和專利儲(chǔ)備，推出桌面式、臨鏡式、頭戴式、手套式、體感式等多個(gè)種類、多種款式的虛擬現(xiàn)實(shí)系統(tǒng)設(shè)備和開發(fā)平臺(tái)；英特爾、英偉達(dá)、意法半導(dǎo)體等推出了虛擬現(xiàn)實(shí)專用GPU芯片和傳感器件；高通連續(xù)發(fā)布了針對(duì)VR的旗艦級(jí)驍龍820和835處理器；谷歌、YouTube、索尼、?？怂沟冗€推出了虛擬現(xiàn)實(shí)視頻和游戲，加速了虛擬現(xiàn)實(shí)產(chǎn)業(yè)鏈的成熟與完善。
在大眾領(lǐng)域，2014年，影視作品開始登陸虛擬現(xiàn)實(shí)平臺(tái)，《星際穿越》在全美四家影院推出Oculus Rift虛擬現(xiàn)實(shí)頭盔特別版，讓觀眾融入浩瀚無(wú)邊的太空旅行；圣迭戈國(guó)際動(dòng)漫展上，《環(huán)太平洋》和《X戰(zhàn)警：逆轉(zhuǎn)未來(lái)》通過(guò)Oculus Rift讓觀眾欣賞片段。2017年，派拉蒙正與VR社交公司Bigscreen，以及Oculus、三星、HTC和微軟等知名虛擬現(xiàn)實(shí)科技公司合作，計(jì)劃推出首個(gè)VR影院。觀眾帶上VR頭顯后，會(huì)發(fā)現(xiàn)自己坐在“影院”的大屏幕前，像在實(shí)體影院里一樣觀看電影。
在工業(yè)領(lǐng)域，通過(guò)虛擬現(xiàn)實(shí)技術(shù)去復(fù)制和創(chuàng)造，是一個(gè)非常高效、耗能極少的過(guò)程，尤其適用于高風(fēng)險(xiǎn)、耗材成本高、低重復(fù)頻率的應(yīng)用場(chǎng)景。基于虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)技術(shù)開展的工業(yè)領(lǐng)域的數(shù)字展示服務(wù)，能夠貫穿于整個(gè)生產(chǎn)制造環(huán)節(jié)，包括初期的市場(chǎng)研究、造型開發(fā)、工程開發(fā)以及市場(chǎng)開發(fā)階段。奧迪、福特、寶馬、克萊斯勒、豐田、沃爾沃等主流車企積極引入VR技術(shù)用于汽車研發(fā)、生產(chǎn)。在虛擬空間中構(gòu)建出與物理世界完全對(duì)等的數(shù)字鏡像，使得虛擬現(xiàn)實(shí)成為實(shí)現(xiàn)數(shù)字雙胞胎（Digital Twins）的核心技術(shù)之一。虛擬現(xiàn)實(shí)還廣泛應(yīng)用于醫(yī)療領(lǐng)域包括手術(shù)培訓(xùn)/導(dǎo)航、心理治療和康復(fù)訓(xùn)練等。
VR五大技術(shù)體系包括近眼顯示、內(nèi)容制作、網(wǎng)絡(luò)通信、渲染處理和感知交互。目前VR技術(shù)成熟度、硬件成本、產(chǎn)業(yè)鏈支持度、消費(fèi)者認(rèn)可度等因素仍制約著虛擬現(xiàn)實(shí)的廣泛應(yīng)用，關(guān)鍵挑戰(zhàn)主要集中在三個(gè)方面：體驗(yàn)質(zhì)量、網(wǎng)絡(luò)傳輸、計(jì)算能力，這三個(gè)方面的挑戰(zhàn)一定程度上限制了VR業(yè)務(wù)的快速發(fā)展，需要依賴產(chǎn)業(yè)鏈上各個(gè)環(huán)節(jié)共同發(fā)力去逐步解決這三方面的挑戰(zhàn)。
首先，體驗(yàn)質(zhì)量對(duì)產(chǎn)業(yè)成功至關(guān)重要。目前市場(chǎng)上大部分普通VR產(chǎn)品的業(yè)務(wù)體驗(yàn)質(zhì)量還不能滿足廣大用戶的期望，其主要問(wèn)題體現(xiàn)在視覺(jué)信息質(zhì)量低，VR需要更高的分辨率、更廣的視場(chǎng)角，8K內(nèi)容分辨率僅是入門體驗(yàn)。視覺(jué)輻輳調(diào)節(jié)沖突，由于屏幕發(fā)出的光線并沒(méi)有深度信息，眼睛的焦點(diǎn)調(diào)節(jié)與視覺(jué)景深不匹配，從而產(chǎn)生眩暈。目前的HMD受制于屏幕和光學(xué)的設(shè)計(jì)，體積較大，同時(shí)也較重，使用者長(zhǎng)時(shí)間佩戴的HMD舒適度差。
其次，VR業(yè)務(wù)對(duì)網(wǎng)絡(luò)傳輸提出了更高的要求。VR業(yè)務(wù)改變了人機(jī)交互的方式，既包含傳統(tǒng)的人機(jī)交互行為，又有VR特有的虛擬交互行為。不同的交互形式和預(yù)期帶來(lái)了對(duì)網(wǎng)絡(luò)傳輸?shù)牟煌枨?。VR業(yè)務(wù)所需要的網(wǎng)絡(luò)，關(guān)鍵在于提供穩(wěn)定的高帶寬和低時(shí)延，以保障VR業(yè)務(wù)的每一次交互行為體驗(yàn)。
最后，計(jì)算能力要滿足VR沉浸式體驗(yàn)帶來(lái)的海量數(shù)據(jù)計(jì)算以及實(shí)時(shí)性要求。目前，對(duì)計(jì)算能力的主要挑戰(zhàn)體現(xiàn)在本地設(shè)備渲染能力及成本過(guò)高，限制了VR業(yè)務(wù)的普及。當(dāng)前，手機(jī)式VR、一體式VR受限于有限的渲染能力，用戶沉浸體驗(yàn)較差。PC VR需要借助性能強(qiáng)大的高端主機(jī)和GPU，才能渲染出靚麗的視覺(jué)畫面，提供良好的交互體驗(yàn)。但由于高端主機(jī)的價(jià)格昂貴、技術(shù)門檻高，限制了VR業(yè)務(wù)在廣大用戶中的普及。當(dāng)前VR渲染處理的矛盾集中于用戶更高的體驗(yàn)需求與渲染能力的不足。因此優(yōu)化渲染算法，減少計(jì)算開銷，降低渲染時(shí)延成為發(fā)展趨勢(shì)，如利用注視點(diǎn)渲染技術(shù)減少GPU開銷，Multi-View渲染技術(shù)節(jié)省CPU資源，采用異步時(shí)間扭曲技術(shù)可以緩解端到端時(shí)延要求等。
圖6虛擬現(xiàn)實(shí)技術(shù)五大技術(shù)體系
3、IPTV VR業(yè)務(wù)與體驗(yàn)
依托IPTV業(yè)務(wù)、網(wǎng)絡(luò)和終端在智慧城市家庭的規(guī)?；采w能力，以及IPTV領(lǐng)域的技術(shù)創(chuàng)新活力，結(jié)合VR近眼顯示、感知交互、渲染處理、網(wǎng)絡(luò)傳輸和內(nèi)容制作等新技術(shù)的最新成果，通過(guò)標(biāo)準(zhǔn)化定制IPTV VR基礎(chǔ)能力、應(yīng)用場(chǎng)景、體驗(yàn)標(biāo)準(zhǔn)、業(yè)務(wù)實(shí)現(xiàn)，以應(yīng)用為驅(qū)動(dòng)，在應(yīng)用中改進(jìn)VR沉浸體驗(yàn)技術(shù)、提高VR虛實(shí)交互技術(shù)，可以率先邁出規(guī)?；渴餠R+業(yè)務(wù)創(chuàng)新的步伐。
IPTV VR業(yè)務(wù)分為不同的發(fā)展階段，第一階段為用戶沉浸感增強(qiáng)階段，隨著在HMD分辨率、刷新率、FOV技術(shù)上的不斷突破，端到端傳輸解決方案的推陳出新，逐漸克服用戶眩暈問(wèn)題，逐步提升用戶沉浸感體驗(yàn)；第二階段為用戶交互體驗(yàn)增強(qiáng)階段，根據(jù)用戶行為，模擬現(xiàn)實(shí)世界中的語(yǔ)音、聲音、光線、溫度等各種感官觸覺(jué)，結(jié)合無(wú)線網(wǎng)絡(luò)的進(jìn)展實(shí)現(xiàn)用戶與虛擬環(huán)境交互的良好體驗(yàn)。
3.1 IPTV VR：打開VR+時(shí)代普及之路
VR影視賦予了觀眾身臨其境的沉浸體驗(yàn)，一方面表現(xiàn)為對(duì)分辨率、刷新率、色深、視場(chǎng)角、3D等更高畫質(zhì)的持續(xù)追求，這符合IPTV視頻業(yè)務(wù)一貫提升用戶體驗(yàn)的專注，通過(guò)虛擬巨幕影院作為IPTV VR應(yīng)用的切入點(diǎn)，以攻克8K以上超高分辨率VR全景視頻為技術(shù)的制高點(diǎn)，強(qiáng)化IPTV機(jī)頂盒對(duì)虛擬巨幕視頻的渲染處理和全景視頻魔方最優(yōu)化解碼能力。隨著IPTV機(jī)頂盒VR能力的標(biāo)準(zhǔn)化和提升，有機(jī)會(huì)演進(jìn)成為家庭VR基礎(chǔ)平臺(tái)，鞏固智慧家庭的入口地位。PC VR對(duì)主機(jī)成本和使用技術(shù)門檻要求高，用戶群體難以普及，移動(dòng)VR主機(jī)局限大，IPTV VR使能的機(jī)頂盒業(yè)務(wù)場(chǎng)景清晰，VR巨幕影院、VR全景視頻、VR社交、VR購(gòu)物存在無(wú)限可能性。未來(lái)家庭娛樂(lè)終端勢(shì)必進(jìn)一步分化為大屏電視、PC、移動(dòng)終端、HMD終端，IPTV VR機(jī)頂盒可以鞏固外接大屏電視、搶占HMD的主機(jī)地位；IPTV VR機(jī)頂盒規(guī)?；钠占澳芰陀脩魧?duì)視頻體驗(yàn)追求的動(dòng)力可以撬動(dòng)體驗(yàn)優(yōu)良的HMD市場(chǎng)。
對(duì)于虛擬現(xiàn)實(shí)產(chǎn)業(yè)而言，顯示硬件是堡壘。2016年前后，隨著HTC Vive、Oculus Rift和索尼PSVR產(chǎn)品的相繼推出，標(biāo)志著虛擬現(xiàn)實(shí)的硬件門檻已經(jīng)顯著降低，但是這些HMD需要和高性能主機(jī)組合，這種硬件組合方式存在成本高、更新?lián)Q代速度快、笨重不舒適等問(wèn)題。Google率先推出眼鏡盒子搭配手機(jī)的形式，但分辨率受限于手機(jī)屏幕，而且在透鏡的視角邊緣部分容易出現(xiàn)色散。
IPTV已經(jīng)具備開展第一階段沉浸體驗(yàn)業(yè)務(wù)的條件，以提供巨幕影院沉浸體驗(yàn)為支點(diǎn)，推動(dòng)360度全景視頻、高體驗(yàn)HMD的創(chuàng)新和提升，可率先打開VR+時(shí)代普及之門，引領(lǐng)創(chuàng)新型VR新業(yè)務(wù)。在HMD設(shè)備尚未普及時(shí)，IPTV憑借大屏電視分辨率足夠，終端解碼能力、網(wǎng)絡(luò)帶寬能力相對(duì)較強(qiáng)，而且沒(méi)有眩暈問(wèn)題的優(yōu)勢(shì)，將是對(duì)大規(guī)模用戶進(jìn)行VR業(yè)務(wù)體驗(yàn)培育引導(dǎo)的基礎(chǔ)；隨著HMD設(shè)備功能和體驗(yàn)的提升，尤其是頭顯分辨率和視場(chǎng)角的提升，VR巨幕視頻的體驗(yàn)將超越大屏電視，大幅提升HMD在家庭顯示的普及應(yīng)用；IPTV VR終端通過(guò)標(biāo)準(zhǔn)化接口和協(xié)議，支持2.5K、4K、8K各類能力的HMD設(shè)備，可廣泛激活用戶的體驗(yàn)興致。
IPTV VR將大大加快虛擬現(xiàn)實(shí)產(chǎn)業(yè)的發(fā)展進(jìn)程，給人們的生產(chǎn)方式和生活方式帶來(lái)革命性變化。具體的應(yīng)用場(chǎng)景包括：
1）VR巨幕影院：借助IPTV機(jī)頂盒和寬視場(chǎng)高分辨率的HMD，可以渲染出IMAX巨幕影院的視聽體驗(yàn)效果，用戶在家里即可不受檔期時(shí)間影響，享受媲美親臨影院的觀影。
2）VR全景視頻：全景視頻作為一種新的視頻消費(fèi)方式，在近幾年受到了人們的廣泛關(guān)注。在觀看全景視頻時(shí)，用戶可以通過(guò)轉(zhuǎn)動(dòng)頭部觀看360度全景視頻的不同內(nèi)容，獲得全方位沉浸式的體驗(yàn)。
3）VR全景直播：在重要新聞事件、體育賽事、演唱會(huì)和發(fā)布會(huì)等大型賽事活動(dòng)，結(jié)合VR全景直播可以實(shí)現(xiàn)足不出戶即可感知事件現(xiàn)場(chǎng)，不僅了解，更是親身參與。例如去年王菲“幻樂(lè)一場(chǎng)”演唱會(huì)VR全景直播，可以說(shuō)VR全景直播將會(huì)成為娛樂(lè)賽事觀看和交流的一個(gè)重要方式。
4）VR社交：虛擬現(xiàn)實(shí)將開啟社交網(wǎng)絡(luò)2.0時(shí)代。VR社交突破了傳統(tǒng)社交的空間限制，通過(guò)虛擬化身、表情識(shí)別等更加精細(xì)豐富的交互方式，深化網(wǎng)絡(luò)社交體驗(yàn)。比如Facebook倡導(dǎo)的VR space人們可以在里面獲得類似現(xiàn)實(shí)生活卻又超于現(xiàn)實(shí)的社交體驗(yàn)。
5）VR游戲：虛擬現(xiàn)實(shí)與視頻游戲的結(jié)合將為用戶帶來(lái)更為真實(shí)而強(qiáng)烈的感官刺激，而龐大的用戶基數(shù)以及核心玩家對(duì)于新技術(shù)的開放性態(tài)度使得視頻游戲有望成為最先發(fā)展起來(lái)的VR大眾市場(chǎng)。
IPTV的兩大歷史使命，一方面是挖掘體驗(yàn)領(lǐng)先的業(yè)務(wù)以提升用戶粘性，實(shí)現(xiàn)價(jià)值變現(xiàn)，另一方面是需要?jiǎng)?chuàng)新領(lǐng)先的業(yè)務(wù)來(lái)普及百兆、邁向千兆，培育千兆寬帶的需求。VR+時(shí)代的到來(lái)為IPTV實(shí)現(xiàn)兩大歷史使命提供了新的契機(jī)。以IPTV VR全景視頻業(yè)務(wù)為例，可以讓用戶足不出戶即可享受多種VIP服務(wù)：參與明星演唱會(huì)，實(shí)現(xiàn)與偶像明星近距離、無(wú)死角互動(dòng)，營(yíng)造出一種與樂(lè)隊(duì)成員或明星一同在舞臺(tái)上的“完全在場(chǎng)”的現(xiàn)場(chǎng)感，彌補(bǔ)因時(shí)間空間限制而無(wú)法親臨的遺憾；參與體育賽事，解決因座位數(shù)量、觀看位置限制，以更低的付費(fèi)成本，享受最佳的VIP視角體驗(yàn)；參與電競(jìng)游戲，選手和競(jìng)技場(chǎng)景融為一體，和身邊的人做虛擬化的互動(dòng)（擊掌），對(duì)比賽數(shù)據(jù)和戰(zhàn)術(shù)做多樣化的交流，增強(qiáng)用戶參與感和沉浸感，游戲具有高度可玩性和客戶粘性；享受虛擬購(gòu)物體驗(yàn)，仿佛置身于各種國(guó)內(nèi)外百貨超市、藥妝店、專賣店和Freedom Food生態(tài)農(nóng)場(chǎng)，利用消費(fèi)者視點(diǎn)在顯示物品信息，短時(shí)間內(nèi)“穿梭”在世界各賣場(chǎng)，隨心所欲地挑選中意的物品。
3.2 VR巨幕影院：提供影院級(jí)視聽體驗(yàn)成為可能
傳統(tǒng)而言，電視無(wú)法提供影院級(jí)的視聽體驗(yàn)。影院級(jí)體驗(yàn)的核心主要體現(xiàn)在巨幕視覺(jué)、優(yōu)質(zhì)畫面、靈動(dòng)音效等方面，這些特性均是傳統(tǒng)電視無(wú)法媲美的。然而影院觀影有其局限性，那就是必須在特定的地點(diǎn)和時(shí)間觀看。IPTV機(jī)頂盒加上體驗(yàn)優(yōu)良的HMD，結(jié)合客廳電視的便利性，提供影院觀影的優(yōu)質(zhì)體驗(yàn)，這就是VR巨幕影院。
IPTV已經(jīng)可以支持全4K視頻，提供高動(dòng)態(tài)和寬色域，也能夠解碼和播放多聲道全景聲音頻。體驗(yàn)優(yōu)質(zhì)的VR頭顯可突破顯示設(shè)備物理尺寸的限制，呈現(xiàn)巨幕視覺(jué)效果。通過(guò)高品質(zhì)耳機(jī)實(shí)現(xiàn)虛擬空間音頻回放，提供逼真的臨場(chǎng)音效。這樣用戶即使坐在家中，也可以感受到類似巨幕影院一般的觀影體驗(yàn)。同時(shí)，IPTV平臺(tái)HD、4K視頻資源豐富，用戶選擇自由、豐富，可以不受電影院放映時(shí)間及內(nèi)容選擇等限制。
圖7 VR巨幕影院效果圖
此外，VR巨幕影院還具有多項(xiàng)獨(dú)特優(yōu)勢(shì)。借助IPTV機(jī)頂盒GPU的渲染能力，可以任意更換場(chǎng)景，比如將影院環(huán)境切換為客廳、泳池、街道、草地、山頂?shù)热魏斡脩粝矚g的場(chǎng)景，一鍵“換膚”，這相比真實(shí)的影院具有獨(dú)特優(yōu)勢(shì)。VR巨幕影院可以充分利用IPTV現(xiàn)有的一切視頻和直播資源，這比真實(shí)影院的內(nèi)容豐富得多。VR巨幕影院的音頻采用耳機(jī)播放，私密性高，不會(huì)像傳統(tǒng)電視機(jī)那樣影響他人，用戶可以隨時(shí)觀影。VR巨幕影院還可以承載社交功能，在虛擬場(chǎng)景中加入觀影伙伴，可以將人物設(shè)定為觀看者指定的虛擬角色，甚至將真實(shí)人物虛擬化后呈現(xiàn)出來(lái)，并允許觀看者與虛擬人物互動(dòng)，實(shí)現(xiàn)“共同觀影”。另外VR巨幕影院場(chǎng)景中還可以加上形式靈活的商業(yè)廣告，包括但不限于靜態(tài)廣告、2D/3D動(dòng)態(tài)廣告、互動(dòng)廣告等形式，具有特殊的商業(yè)價(jià)值。
3.3 VR全景視頻：布局8K高分辨率提升業(yè)務(wù)體驗(yàn)
不同于VR巨幕影院，VR全景視頻提供了觀看者360度環(huán)繞的畫面，觀看者通過(guò)改變頭部的位置實(shí)現(xiàn)視角的切換，為觀看者提供了虛擬現(xiàn)實(shí)沉浸式的“親身體驗(yàn)”和“現(xiàn)實(shí)生活”，在VR的諸多應(yīng)用形態(tài)中VR全景視頻將成為最先繁榮的VR應(yīng)用。目前在線VR視頻內(nèi)容多樣，包括舞臺(tái)、旅游、紀(jì)錄片等，可以滿足觀眾的各類需求。在重要新聞事件、體育賽事、演唱會(huì)和發(fā)布會(huì)等大型賽事活動(dòng)，結(jié)合全景視頻直播可以實(shí)現(xiàn)足不出戶即可感知事件現(xiàn)場(chǎng)，如同親身參與，例如2017年央視春晚VR直播等。
圖8 VR全景視頻效果圖（2017年央視春晚VR直播）
從用戶體驗(yàn)角度，VR全景視頻需要更大的視頻分辨率（8K以上）才能帶來(lái)更好的體驗(yàn)。用戶觀看VR全景視頻時(shí)，單眼實(shí)際可視信息只是全部球面數(shù)據(jù)的一部分，如視場(chǎng)角（FOV）為90度，則單眼可視信息僅為球面信息的1/6。傳統(tǒng)意義上說(shuō)的視頻分辨率對(duì)應(yīng)于球面全視角分辨率，真正決定體驗(yàn)的是單眼分辨率。由于VR終端遠(yuǎn)高于傳統(tǒng)終端的視場(chǎng)角，決定了對(duì)應(yīng)同樣的PPD，VR需要更高的分辨率。以FOV=90度為例，全視角360度8K分辨率，對(duì)應(yīng)單眼分辨率2K、PPD=22，用戶看到的畫面質(zhì)量實(shí)際只接近于在TV上觀看480P的PPD效果。
VR全景視頻的高分辨率依賴內(nèi)容、傳輸、終端等多方面的支持，IPTV率先布局支持8K以上高分辨率視頻，將把VR全景視頻的體驗(yàn)提升到可運(yùn)營(yíng)業(yè)務(wù)的級(jí)別，對(duì)滿足用戶對(duì)VR的預(yù)期和提升IPTV業(yè)務(wù)的創(chuàng)新力具備重要的意義。
VR全景視頻業(yè)務(wù)的發(fā)展以用戶體驗(yàn)提升為主線，是畫質(zhì)不斷提升，沉浸感越來(lái)越好的演進(jìn)過(guò)程。未來(lái)，單眼畫質(zhì)將逐步達(dá)到視網(wǎng)膜級(jí)，用戶看到的畫面質(zhì)量將接近于在傳統(tǒng)TV上觀看4K的PPD效果。不僅如此，VR全景視頻的體驗(yàn)還會(huì)從視頻和音頻兩方面努力，采用如3D聲場(chǎng)技術(shù)，做到不僅畫質(zhì)清晰，聲音也更逼真。如采用3D聲場(chǎng)技術(shù)的8K VR音樂(lè)視頻，相比普通8K視頻，其3D聲場(chǎng)音效，包含聲音的混響、方位、衰減、空間化及多角度的音效，大幅提升音樂(lè)的聽覺(jué)體驗(yàn)，如同真正在現(xiàn)場(chǎng)聽到的一樣。
4、IPTV VR系統(tǒng)技術(shù)要求
4.1 IPTV VR關(guān)鍵技術(shù)：基于OMAF視點(diǎn)全景視頻魔方框架
在VR全景視頻應(yīng)用場(chǎng)景中，VR全景視頻把現(xiàn)場(chǎng)清晰（高分辨率、大景深）、完整（無(wú)死角無(wú)遮擋無(wú)裂痕）地記錄下來(lái)，由用戶自己決定看怎樣的畫面，它的核心是超高分辨率（8K以上）。IPTV VR系統(tǒng)如何實(shí)現(xiàn)對(duì)超高分辨率全景視頻的傳輸和解碼，并適配用戶所用網(wǎng)絡(luò)、終端、HMD能力的提升而提供更高更好的體驗(yàn)，是開展高體驗(yàn)VR全景視頻業(yè)務(wù)的挑戰(zhàn)。
全景視頻覆蓋360度視場(chǎng)，而人眼的視角范圍通常約為120度，因此人眼視角下看到的有效球面信號(hào)約為球面全景信號(hào)的27%?，F(xiàn)有的VR終端設(shè)備（如電視、VR眼鏡）可支持的視角大約在90°~110°之間，良好的視覺(jué)體驗(yàn)需要局部視場(chǎng)角輸出的視頻分辨率達(dá)到高清甚至4K分辨率，這就要求全景視頻的分辨率遠(yuǎn)高于4K，達(dá)到8K甚至16K以上。
全視角傳輸方案是將360度環(huán)繞的畫面都傳輸給終端，當(dāng)用戶頭部轉(zhuǎn)動(dòng)觀看特定視角的畫面時(shí)，終端即時(shí)(Just-in-time)完成包括碼流解析、視頻解碼和畫面渲染等處理。VR畫面在相同單眼可視分辨率情況下，由于幀率、位深、360度全景等原因，碼率要比普通TV視頻大很多，一般是普通TV視頻的5至10倍。這種方案特點(diǎn)是視角切換時(shí)畫面過(guò)渡平滑，兼容行較好，但是對(duì)IPTV系統(tǒng)網(wǎng)絡(luò)傳輸高帶寬低時(shí)延、超高分辨率視頻解碼和渲染輸出三個(gè)方面的能力提出了高難度的挑戰(zhàn)。具體而言，如果將360度全景視頻通過(guò)經(jīng)緯圖映射成常規(guī)的二維視頻進(jìn)行編碼、傳輸、解碼和呈現(xiàn)，首先由于分辨率的顯著增加，編碼處理能力和網(wǎng)絡(luò)傳輸帶寬將成數(shù)倍增加；更為嚴(yán)重的是在終端解碼上需要解碼超高分辨率的全視角視頻內(nèi)容，而呈現(xiàn)給用戶的只是其中一部分內(nèi)容，終端解碼資源存在浪費(fèi)，而終端解碼能力正是目前開展超高分辨率全景視頻業(yè)務(wù)的最短板。
圍繞這三個(gè)部分的挑戰(zhàn)，，業(yè)界展開大量的研究，比如Facebook率先提出把經(jīng)緯圖重新映射到立方體的轉(zhuǎn)換，使用多點(diǎn)投影的方式來(lái)進(jìn)行二者之間的像素點(diǎn)切換。將經(jīng)緯圖頂部的25％轉(zhuǎn)換為一個(gè)立方體面，將底部的25％轉(zhuǎn)換為另一個(gè)面，中間的50％轉(zhuǎn)換為四個(gè)面。通過(guò)這樣的映射轉(zhuǎn)換，每幀的像素?cái)?shù)量減少了25％，從而提高了編碼端的效率，并有效的降低了解碼端的能力需求。為了進(jìn)一步降低網(wǎng)絡(luò)傳輸?shù)睦速M(fèi)，近期基于動(dòng)態(tài)視點(diǎn)(Field of View)的全景視頻自適應(yīng)傳輸方案成為熱點(diǎn)和共識(shí)。如Facebook提出了金字塔模型，金字塔模型的底部為高質(zhì)量用戶視角區(qū)域，隨著金字塔高度的上升，其他區(qū)域通過(guò)亞采樣降低分辨率。當(dāng)用戶切換視角時(shí)，不是給用戶看該金字塔其他表面的低質(zhì)量視頻，而是切換到另一個(gè)視角為底部高質(zhì)量?jī)?nèi)容的金字塔模型視頻。從而在不降低視窗質(zhì)量的條件下，降低全景視頻的碼率。HHI提出了基于視頻分塊（Tile）的全景視頻傳輸方案，思路是根據(jù)用戶的觀看視點(diǎn)和視角，只傳輸和解碼FOV內(nèi)的內(nèi)容，采用部分傳輸和部分解碼的方式減輕對(duì)網(wǎng)絡(luò)帶寬和終端解碼的壓力。
4.1.1基于視點(diǎn)的全景視頻魔方編解碼
基于視點(diǎn)的全景視頻魔方方案利用全景視頻播放和顯示局部視場(chǎng)角的特性，結(jié)合了視點(diǎn)自適應(yīng)、MCTS（Motion-Constrained Tile Sets）編碼、多分辨率和多Tile劃分，把VR全景視頻描述成魔方形態(tài)，終端播放根據(jù)用戶頭部朝向和芯片的解碼能力約束進(jìn)行最優(yōu)化的視頻分辨率/Tile的選擇、解碼、渲染和顯示。
圖9 VR全景視頻魔方編解碼系統(tǒng)
全景視頻播放的最優(yōu)化主要受限于解碼器的解碼能力與網(wǎng)絡(luò)傳輸性能，為了獲取最佳的體驗(yàn)效果，通過(guò)建立如下的目標(biāo)函數(shù)
其中表示解碼的Tile，表示全景視頻魔方，比如原始12K全景視頻處理形成的8K/4K/2K組合的全部Tile集。表示基于視點(diǎn)的解碼渲染輸出，該函數(shù)值越大，表示通過(guò)解碼這些Tile獲取的用戶體驗(yàn)越好。為了獲取目標(biāo)函數(shù)的最優(yōu)值，可以從如下考慮：
1）根據(jù)終端HMD設(shè)備的分辨率和視場(chǎng)角確定視點(diǎn)包含的Tile范圍；
2）在網(wǎng)絡(luò)能力允許的條件下，獲取更多視點(diǎn)內(nèi)高分辨率的Tile；
3）在解碼能力允許的下，解碼更多高分辨率的Tile用于顯示。
4.1.2基于視點(diǎn)自適應(yīng)的Tile-based傳輸方案
在網(wǎng)絡(luò)條件良好的情況下，傳輸全部全景視頻魔方可以帶來(lái)良好的視覺(jué)體驗(yàn)；在網(wǎng)絡(luò)帶寬不足的情況下，只傳輸用戶視角觀看范圍內(nèi)容的高質(zhì)量Tile視頻分塊和最低質(zhì)量全視角視頻，可以有效保證在低帶寬條件下優(yōu)先給視角范圍內(nèi)的Tile視頻分配帶寬資源，被MPEG組織OMAF工作組在《ISO/IEC FDIS 23090-2 Omnidirectional Media Format》標(biāo)準(zhǔn)文檔中采納并推薦。
按需傳輸、部分解碼策略的基于視點(diǎn)自適應(yīng)Tile-based傳輸方案可以有效解決IPTV VR業(yè)務(wù)應(yīng)用中的高分辨率全景視頻傳輸帶寬、解碼能力和渲染輸出三大問(wèn)題，根據(jù)用戶的即時(shí)觀看區(qū)域動(dòng)態(tài)地選擇傳輸全景魔方視頻Tile視頻分塊，可以有效地節(jié)省網(wǎng)絡(luò)流量開銷。同時(shí)為了保障用戶轉(zhuǎn)頭時(shí)，無(wú)察覺(jué)地切換新視點(diǎn)高質(zhì)量?jī)?nèi)容，傳輸一個(gè)質(zhì)量基本可接受的全景視頻流。
圖10 VR全景視頻魔方視點(diǎn)自適應(yīng)傳輸
基于視點(diǎn)的全景視頻傳輸方案難以避免地會(huì)在用戶快速轉(zhuǎn)頭時(shí)出現(xiàn)新舊視點(diǎn)的高質(zhì)量Tile切換間隙，Tile-based方案采用基本質(zhì)量的全景視頻補(bǔ)充這一時(shí)間段內(nèi)的視點(diǎn)內(nèi)容，一定程度上緩解了切換時(shí)主觀不適感。為了進(jìn)一步提升用戶主觀體驗(yàn)，可以采用視點(diǎn)預(yù)測(cè)技術(shù)，對(duì)下一時(shí)刻的新視點(diǎn)進(jìn)行預(yù)測(cè)，對(duì)新視點(diǎn)Tile內(nèi)容實(shí)現(xiàn)預(yù)下載和預(yù)緩存。目前在部分頭顯和手機(jī)上已采用預(yù)測(cè)跟蹤技術(shù)，包括Oculus公司開發(fā)的異步時(shí)間扭曲（ATW，Asynchronous Time Warp）功能，在畫面渲染的同時(shí)，可以追蹤用戶的頭部動(dòng)作；高通公司在驍龍835芯片上集成了六自由度視覺(jué)慣性測(cè)距（6DOF）、眼部追蹤和手勢(shì)追蹤功能。這些預(yù)測(cè)跟蹤數(shù)據(jù)可以有效地指導(dǎo)VR傳輸系統(tǒng)對(duì)新視角進(jìn)行預(yù)下載和預(yù)緩存，減低新舊視點(diǎn)高質(zhì)量?jī)?nèi)容之間的切換時(shí)間。
4.2 IPTV VR關(guān)鍵技術(shù)：基于解碼渲染的機(jī)頂盒芯片架構(gòu)
IPTV VR對(duì)機(jī)頂盒芯片的挑戰(zhàn)在于以盡可能低的成本代價(jià)實(shí)現(xiàn)新的解碼渲染架構(gòu)，提供足夠的驅(qū)動(dòng)力把HMD的性能和VR全景視頻內(nèi)容的效果充分發(fā)揮出來(lái)。
與傳統(tǒng)機(jī)頂盒芯片由專用定制電路ASIC進(jìn)行視頻解碼、后處理和輸出的處理流程不同，VR通常是依賴強(qiáng)大的GPU完成視頻解碼、立體建模、紋理映射、局部投影、雙目渲染、反畸變、反色散、ATW等處理。與傳統(tǒng)的PC主機(jī)VR需要完成各種實(shí)時(shí)復(fù)雜場(chǎng)景建模不同，IPTV VR重點(diǎn)在虛擬視頻處理上，通過(guò)新的解碼、渲染、顯示架構(gòu)，由專用定制電路ASIC完成解碼，基礎(chǔ)變換和渲染由GPU進(jìn)行，雙目輸出、反畸變、反色散、ATW由專用定制電路的DPU模塊完成。新的機(jī)頂盒芯片架構(gòu)得以盡可能低的成本代價(jià)實(shí)現(xiàn)體驗(yàn)優(yōu)良的VR視頻處理能力，同時(shí)釋放GPU的計(jì)算能力用于UI、背景、場(chǎng)景的渲染，這是推動(dòng)IPTV VR普及的重要前提之一。
圖11機(jī)頂盒芯片架構(gòu)的變化
對(duì)機(jī)頂盒芯片架構(gòu)的首要影響就是需要支持HMD設(shè)備，為了解決近距離觀看和視場(chǎng)角的問(wèn)題，通常會(huì)在HMD內(nèi)部加入透鏡，由于透鏡光學(xué)特性會(huì)引起畸變和色散，造成觀看者的不適。為了看到正常的圖像，需要在機(jī)頂盒芯片DPU中加入對(duì)應(yīng)的反向處理，如反畸變和去色散。要達(dá)到單眼2K@75Hz的顯示，反畸變和去色散要處理的數(shù)據(jù)會(huì)達(dá)到600Mpix/s。
引起眩暈的一個(gè)主要原因是MTP(Motion To Photon)時(shí)延大，目前公認(rèn)的是MTP時(shí)延低于20ms能大幅減少暈動(dòng)癥的發(fā)生；另一方面，為減輕不流暢的畫面引起的眩暈，HMD顯示刷新率要達(dá)到75Hz以上。異步時(shí)間扭曲（ATW）是一種生成中間幀的技術(shù)，當(dāng)解碼或者GPU不能保持足夠幀率的時(shí)候，ATW能產(chǎn)生中間幀，減少抖動(dòng)，有效降低眩暈感。為提供更好的沉浸體驗(yàn)，IIPTV VR機(jī)頂盒芯片VR視頻處理流程包括解碼、ERP投影映射、反畸變、去色散、ATW、雙目渲染，當(dāng)用戶頭部轉(zhuǎn)動(dòng)，需要通過(guò)并行處理的架構(gòu)在10-15ms內(nèi)完成VR視頻的處理。
圖12機(jī)頂盒芯片支持VR HMD顯示交互
基于解碼渲染的IPTV VR機(jī)頂盒芯片架構(gòu)能夠提升圖像清晰度，消除HMD帶來(lái)的畸變和色散，降低時(shí)延，提高顯示刷新率，提供更好的沉浸體驗(yàn)，與傳統(tǒng)機(jī)頂盒GPU解決方案相比，具有低延時(shí)、低帶寬、低內(nèi)存、低成本、低功耗、高性能的優(yōu)點(diǎn)，可以有效提升VR沉浸體驗(yàn)。
1）降低視頻處理延時(shí)
將ATW、反畸變、去色散等VR全景視頻處理子模塊集成到VR處理模塊內(nèi)，在顯示輸出模塊完成雙屏同步的處理后輸出到屏幕顯示，相比傳統(tǒng)架構(gòu)GPU處理，集成了在線并行處理的VR處理模塊的新架構(gòu)可以有效地降低MTP時(shí)延。
2）降低內(nèi)存及帶寬需求
在線并行處理的VR處理模塊，相比GPU處理，可以減少多次讀寫外部memory的帶寬，同時(shí)精細(xì)的片外memory的訪問(wèn)行為控制，可以降低內(nèi)存空間的需求。
3）降低成本及功耗
為了達(dá)到較好的沉浸效果，如果采用傳統(tǒng)機(jī)頂盒架構(gòu)，需要一個(gè)性能十分強(qiáng)大的GPU，成本和功耗都十分巨大。IPTV VR機(jī)頂盒芯片在使用GPU外，用VPU和DPU處理模塊加速運(yùn)算，可以大大降低芯片的成本；所有模塊可以采用并行架構(gòu)，降低芯片的工作頻率，有效降低芯片的功耗。
另外，IPTV VR機(jī)頂盒芯片架構(gòu)需要支持VR各種定位、傳感、交互信息的處理和響應(yīng)，包括從最基本的藍(lán)牙手柄操控設(shè)備、頭部姿態(tài)傳感信息到inside-out定位跟蹤處理。
圖13機(jī)頂盒芯片支持定位跟蹤
機(jī)頂盒芯片作為IPTV VR主機(jī)的關(guān)鍵單元，未來(lái)在提升VR體驗(yàn)、豐富VR功能、降低成本的方向上，將隨近眼顯示、內(nèi)容制作等技術(shù)的提升而迭代前進(jìn)。
4.3 IPTV VR業(yè)務(wù)平臺(tái)技術(shù)要求
以IPTV業(yè)務(wù)平臺(tái)系統(tǒng)為基礎(chǔ)、為承載，推動(dòng)IPTV業(yè)務(wù)平臺(tái)面向新興媒體傳播移動(dòng)化、社交化、視頻化的趨勢(shì)演進(jìn)，通過(guò)開放VR視頻、直播、社交、游戲、電商內(nèi)容入口，新增建設(shè)以VR視頻內(nèi)容預(yù)處理和VR云渲染為核心引擎的平臺(tái)，規(guī)模部署VR使能機(jī)頂盒終端，支持進(jìn)行“VR+”（泛指全景視頻、VR社交、VR直播、VR游戲、VR購(gòu)物等新業(yè)務(wù)新模式）創(chuàng)新業(yè)務(wù)。
圖14 IPTV VR業(yè)務(wù)平臺(tái)系統(tǒng)
VR全景視頻預(yù)處理能力針對(duì)超高分辨率的ERP全景內(nèi)容，進(jìn)行全景視頻魔方的轉(zhuǎn)換處理，提供給CDN進(jìn)行分發(fā)。以基于視點(diǎn)的全景視頻魔方編解碼方式為例，具體處理包括：
1）超高分辨率視頻的Tile劃分和重新組合。考慮到ERP映射視頻的特點(diǎn)，以12K視頻為例，一種可行的劃分方式是把12K視頻整體劃分為48個(gè)Tile，具體而言，將經(jīng)緯圖垂直方向分辨率進(jìn)行六等分，水平方向分辨率按照12、8、4等分方式進(jìn)行劃分，劃分后的Tile統(tǒng)一scale到最小Tile分辨率規(guī)格上。再按照相同順序把scale后的Tile重新組合成新的8x6的矩形視頻。
圖15全景視頻的分Tile方式
2）建立全景魔方，進(jìn)行MCTS編碼和DASH/HLS索引。考慮到分Tile劃分后的全景視頻需要適配多種解碼能力和顯示能力的場(chǎng)景，因此對(duì)原始分辨率視頻進(jìn)行1/2下采樣后，進(jìn)一步根據(jù)上述分Tile策略進(jìn)行分Tile和組合，同時(shí)從原始分辨率視頻scale一個(gè)2K分辨率的視頻，三個(gè)視頻構(gòu)成了類似魔方式的視頻組合，分別采用MCTS編碼后，依據(jù)DASH或者HLS方式進(jìn)行切片建立索引。
圖16全景視頻魔方的構(gòu)建
VR超高分辨率全景視頻比普通平面視頻的碼率高出十倍以上，基于Tile-based劃分的編碼方式可以降低50%以上的碼率傳輸，但也會(huì)存在多個(gè)Tile同時(shí)下載的問(wèn)題（平均15個(gè)以上）。如果采用傳統(tǒng)分發(fā)方式，尋址Tile文件全部傳輸將對(duì)CDN形成很大的壓力。為了解決這些問(wèn)題，CDN采用基于Tile的優(yōu)化分發(fā)方法，主要思路在于：
1）對(duì)超高分辨率全景視頻按照MCTS進(jìn)行編碼，CDN只發(fā)送用戶請(qǐng)求的Tile視頻，降低全景視頻網(wǎng)絡(luò)傳輸?shù)睦速M(fèi)，并減輕對(duì)CDN分發(fā)網(wǎng)絡(luò)的沖擊；
2）提供多種分級(jí)的質(zhì)量視頻內(nèi)容供分辨率格式給終端自適應(yīng)請(qǐng)求。，網(wǎng)絡(luò)擁堵、質(zhì)量下降時(shí)，終端請(qǐng)求低質(zhì)量分辨率視頻減少卡頓現(xiàn)象，避免視頻播放流暢度受到影響；
3）采用多Tile預(yù)拼接技術(shù)，通過(guò)將用戶索引的Tile進(jìn)行預(yù)拼接，減少查詢和讀取CDN服務(wù)的次數(shù)，避免因?yàn)檫@種頻繁小文件查詢和讀取對(duì)CDN性能造成影響非常大；
4）引入大數(shù)據(jù)處理和深度學(xué)習(xí)等技術(shù)，獲取用戶觀看的興趣區(qū)域，并預(yù)估用戶的觀看內(nèi)容，提前準(zhǔn)備需要發(fā)送的內(nèi)容，降低發(fā)送與請(qǐng)求之間的時(shí)延。
當(dāng)前IPTV支持VR視頻的場(chǎng)景，主要包括VR點(diǎn)播、VR直播、VR游戲等三大場(chǎng)景。IPTV業(yè)務(wù)平臺(tái)升級(jí)改造涉及到包括針對(duì)高分辨率VR全景視頻預(yù)處理能力和針對(duì)渲染密集的VR云游戲渲染處理能力，對(duì)CDN提出更高的并行流化能力和對(duì)EPG提出VR UI及內(nèi)容的展現(xiàn)能力的提升。面向VR業(yè)務(wù)，IPTV業(yè)務(wù)平臺(tái)需要在組播能力、CDN提升、業(yè)務(wù)運(yùn)維和保障等方面進(jìn)行優(yōu)化：
提供組播能力承載VR視頻直播業(yè)務(wù)
使用組播來(lái)承載VR直播業(yè)務(wù)，網(wǎng)絡(luò)流量和CDN負(fù)載不會(huì)隨著VR直播接入的觀看用戶數(shù)的增加而增加，是IPTV保障用戶體驗(yàn)的重要利器，然而VR直播業(yè)務(wù)需要更高的傳輸帶寬和網(wǎng)絡(luò)QoS保障。
CDN需要更高的并行出流能力以支持VR點(diǎn)播
隨著VR視頻的分辨率提升，以及全景視頻魔方的應(yīng)用，單個(gè)用戶從過(guò)去的請(qǐng)求一路CDN流，發(fā)展為同時(shí)請(qǐng)求多路CDN流，為了保證多個(gè)用戶的觀看體驗(yàn)，這就要求CDN具備更高的并發(fā)加速流化能力。
面向VR業(yè)務(wù)的端到端運(yùn)維能力與QoE評(píng)估體系
相比于普通二維視頻，VR業(yè)務(wù)從視頻內(nèi)容制作到終端觀看的過(guò)程更加復(fù)雜。這種情況下帶來(lái)故障種類多，視頻體驗(yàn)劣化難定界，因此需要基于用戶VR體驗(yàn)評(píng)估的基礎(chǔ)上，實(shí)現(xiàn)端到端業(yè)務(wù)運(yùn)維能力，做到故障快速感知和定界。
針對(duì)VR提供不同的業(yè)務(wù)優(yōu)先級(jí)保障
無(wú)論VR直播，還是VR點(diǎn)播，若與其他視頻業(yè)務(wù)一起無(wú)差異處理，無(wú)法保證業(yè)務(wù)端到端的質(zhì)量。業(yè)務(wù)平臺(tái)提供業(yè)務(wù)保障優(yōu)先級(jí)確保系統(tǒng)內(nèi)部資源分配到VR業(yè)務(wù)，確保VR視頻業(yè)務(wù)的體驗(yàn)不劣化。
未來(lái)IPTV VR業(yè)務(wù)平臺(tái)將隨著VR業(yè)務(wù)的發(fā)展，繼續(xù)在下面幾個(gè)方面進(jìn)行增強(qiáng)演化：
1）系統(tǒng)架構(gòu)：面向媒體信息傳播移動(dòng)互聯(lián)化、社交化和視頻化的趨勢(shì)，推動(dòng)基于云計(jì)算、SDN/NFV的IPTV系統(tǒng)架構(gòu)演進(jìn)。把新的系統(tǒng)架構(gòu)在采用基于虛擬化能力共享及云化動(dòng)態(tài)伸縮的NFV/SDN上，通過(guò)標(biāo)準(zhǔn)化的IPTV平臺(tái)組件和高性能、標(biāo)準(zhǔn)化及能力開放的CDN部件，以開放架構(gòu)、平臺(tái)松耦合的方式實(shí)現(xiàn)業(yè)務(wù)的快速創(chuàng)新、彈性部署，應(yīng)對(duì)海量突發(fā)業(yè)務(wù)與流量。
2）服務(wù)模式：應(yīng)對(duì)新興媒體視頻化、長(zhǎng)尾化、即時(shí)傳播、按需服務(wù)、海量傳播的特點(diǎn)，基于大數(shù)據(jù)分析，在新的系統(tǒng)架構(gòu)上構(gòu)建彈性按需服務(wù)模式，以用戶行為大數(shù)據(jù)分析優(yōu)化計(jì)算和傳輸資源，以云資源的彈性應(yīng)對(duì)用戶服務(wù)按需請(qǐng)求處理的動(dòng)態(tài)性和不可預(yù)測(cè)性。
3）內(nèi)容分發(fā)：面向用戶視頻服務(wù)超高清化、虛擬體驗(yàn)化的業(yè)務(wù)需求，通過(guò)優(yōu)化8K以上超高分辨率全景視頻流化服務(wù)和網(wǎng)絡(luò)流量分布，在IPTV系統(tǒng)架構(gòu)上建設(shè)存儲(chǔ)高效、網(wǎng)絡(luò)均衡、更智能調(diào)度和流媒體能力優(yōu)化的CDN平臺(tái)。
4）業(yè)務(wù)創(chuàng)新：面向VR+業(yè)務(wù)創(chuàng)新需求和結(jié)合IPTV系統(tǒng)能力開放，構(gòu)建VR能力開放體系，開放提供協(xié)同、跨界、融合的創(chuàng)新業(yè)務(wù)，探索“VR+X”（X泛指直播、社交、購(gòu)物、游戲等新業(yè)務(wù)新模式）的融合服務(wù)的模式。
4.4 IPTV VR內(nèi)容技術(shù)要求
全景視頻與傳統(tǒng)視頻有明顯的差別，傳統(tǒng)視頻制作是藝術(shù)創(chuàng)造過(guò)程，全景視頻制作則是記錄，核心是技術(shù)，不能用傳統(tǒng)視頻制作的思維制作全景視頻。全景視頻制作設(shè)備要求高，成像分辨率可通過(guò)增加攝像機(jī)個(gè)數(shù)積木式擴(kuò)展。8K VR全景視頻需要多個(gè)攝像頭同時(shí)拍攝并實(shí)時(shí)處理。相比制作傳統(tǒng)二維視頻，技術(shù)挑戰(zhàn)和難度更大，主要體現(xiàn)在：多攝像頭空間位置統(tǒng)一校準(zhǔn)；多攝像頭采集畫面的亮度和色彩一致性；相鄰攝像頭重疊畫面的處理；將多攝像頭畫面拼接并映射到二維平面，以兼容已有編解碼器；實(shí)時(shí)完成8K甚至更高分辨率視頻內(nèi)容編碼壓縮處理。
圖17 VR全景視頻攝像機(jī)積木式擴(kuò)展
拼接是全景視頻制作過(guò)程中技術(shù)難度較高的環(huán)節(jié)，。目前一般采用全局直方圖均衡化和色彩校正技術(shù)解決各攝像頭由于各方面的差異性導(dǎo)致的亮度、色調(diào)不一致的問(wèn)題，以保證待拼接的畫面亮度和色調(diào)的一致性，降低拼接難度，保障拼接后良好的主觀效果。涉及到各攝像頭采集畫面亮度不一致。通常先統(tǒng)計(jì)亮度直方圖再統(tǒng)一調(diào)整，確保輸出全景畫面亮度均勻。各鏡頭采集的畫面本身存在一定畸變，在拼接前需要先做畸變校正糾正再拼接，然后檢測(cè)。相鄰攝像頭畫面內(nèi)容之間配對(duì)的特征點(diǎn)和線，對(duì)拼接之間有重合部分，需要精確標(biāo)定錨點(diǎn)標(biāo)定，然后對(duì)重疊區(qū)域進(jìn)行細(xì)致融合，充分保證確保交界處無(wú)拼接痕跡沒(méi)有痕跡且不降低清晰度。將拼接后的360度全景視頻映射為二維平面視頻，采用已有的編碼器進(jìn)行編碼壓縮后傳輸或存儲(chǔ)。拼接環(huán)節(jié)通常會(huì)通過(guò)ERP映射生成一幅幅矩形畫面，再進(jìn)行編碼。
3D全景視頻相比2D全景視頻的優(yōu)勢(shì)在于能夠提供立體感，但這也需要在畫面采集時(shí)采用就用兩雙套攝像頭裝置分別模擬采集左眼和右眼，采取一定的視差對(duì)內(nèi)容進(jìn)行采集的畫面，才能保留雙眼視差信息，因而3D全景視頻相比2D全景視頻制作難度更高，不僅需要特殊的全景相機(jī)，而且左右眼畫面都需要單獨(dú)拼接和編碼，需要處理的數(shù)據(jù)量像素量增加一倍。
目前3DOF全景視頻支持都是3DoF，即觀看者在roll、pitch、yaw三個(gè)方向維度可以旋轉(zhuǎn)頭部觀看各視點(diǎn)的內(nèi)容自由運(yùn)動(dòng)。為了提高交互性，未來(lái)6DoF6DOF視頻將成為主流，代表全景視頻下一步的發(fā)展方向。Facebook推出了一種初級(jí)的6DoF6DOF內(nèi)容采集設(shè)備來(lái)自Facebook，它的其攝像頭分為多組，每組拍攝不同深度的視頻，再通過(guò)后期制作手段將這些不同深度的視頻融合為6DoF6DOF視頻。另一種6DoF設(shè)備是Lytro的光場(chǎng)相機(jī)，它采用密集的鏡頭陣列捕捉不同景深深度畫面，相比第一種設(shè)備優(yōu)點(diǎn)是觀看者可以小范圍移動(dòng)位置，不必固定視覺(jué)中心，而且不同景深畫面的清晰度更高。還有來(lái)自Intel的Free-D，它圍繞賽場(chǎng)布置多個(gè)攝像頭來(lái)錄制視頻，觀看者隨時(shí)可以在這些攝像頭之間選擇位置最佳的一個(gè)進(jìn)行觀看。
MPEG組織為VR內(nèi)容的文件格式專門成立了一個(gè)獨(dú)立的OMAF工作組，其主要任務(wù)是統(tǒng)一并規(guī)定VR多方面信號(hào)表達(dá)、文件邏輯嵌套關(guān)系等內(nèi)容，例如規(guī)定了基本的視頻內(nèi)容映射格式、視角的表達(dá)方式、視角覆蓋區(qū)域表述方式、3D視頻交織存儲(chǔ)方式。
IPTV VR巨幕影院對(duì)內(nèi)容沒(méi)有要求，直接采用IPTV已有視頻資源即可。VR全景視頻則需要根據(jù)當(dāng)前階段的制作理念和制作技術(shù)水平，逐步探索高質(zhì)量場(chǎng)景類和故事類全景視頻內(nèi)容領(lǐng)域，為用戶提供最佳的VR視頻體驗(yàn)。
為了進(jìn)一步提升全景視頻的體驗(yàn)，現(xiàn)階段建議VR全景視頻內(nèi)容從8K起步，具體技術(shù)要求如下：
全景視頻內(nèi)容的規(guī)格受制于HMD的顯示能力，未來(lái)IPTV VR全景內(nèi)容將隨著HMD技術(shù)的發(fā)展和VR沉浸感知提升的需求，繼續(xù)在下面幾個(gè)方面進(jìn)行提升：
1）360度全景視頻技術(shù)規(guī)格的提升和優(yōu)化，包括以8K、12K、16K更高的分辨率支持HMD設(shè)備規(guī)格的提升，同時(shí)在單個(gè)視頻像素質(zhì)量上也會(huì)進(jìn)一步提升到10bit、12bit，支持HDR高動(dòng)態(tài)、WCG寬色域和更高的幀率。
2）全景視頻內(nèi)容將從3DoF、3DoF+走向6DoF，尤其是全景視頻內(nèi)容將隨著CG渲染技術(shù)、點(diǎn)云技術(shù)、光場(chǎng)技術(shù)的應(yīng)用而提升。
4.5 IPTV VR機(jī)頂盒技術(shù)要求
傳統(tǒng)IPTV機(jī)頂盒以電視視頻業(yè)務(wù)為核心，對(duì)視頻進(jìn)行解碼和后處理，再經(jīng)HDMI輸出到大屏電視機(jī)進(jìn)行顯示，目前機(jī)頂盒芯片、內(nèi)存、Flash都以全4K能力為基礎(chǔ)設(shè)計(jì)。典型配置如四個(gè)2.0G Cortex-A53性能級(jí)別的處理芯片、2-4核GPU處理器、1G內(nèi)存、8G Flash、1個(gè)HDMI輸出。
IPTV VR機(jī)頂盒除了支持傳統(tǒng)電視視頻業(yè)務(wù)以外，核心是要支持HMD設(shè)備，以滿足IPTV VR的業(yè)務(wù)應(yīng)用場(chǎng)景，提供巨幕影院和8K VR全景視頻能力，相比PC主機(jī)和GPU的配置，當(dāng)前主流機(jī)頂盒硬件和軟件能力明顯不足。但是要大規(guī)模普及IPTV VR機(jī)頂盒又對(duì)成本非常敏感，不能采取簡(jiǎn)單堆疊硬件性能的方式來(lái)解決，因此IPTV VR應(yīng)用對(duì)機(jī)頂盒解碼硬件設(shè)計(jì)和軟件設(shè)計(jì)提出了更高的挑戰(zhàn)。
圖18 IPTV VR機(jī)頂盒
基于解碼渲染的機(jī)頂盒芯片架構(gòu)和基于OMAF視點(diǎn)全景視頻魔方編解碼方案，只解碼用戶可見視角的VR視頻，可以在硬件成本和性能上獲得競(jìng)爭(zhēng)優(yōu)勢(shì)。但是依然需要在GPU性能、VR視頻處理專用硬件、內(nèi)存容量速率上提升規(guī)格。
圖19 IPTV VR機(jī)頂盒的視頻處理
VR機(jī)頂盒要具備連接大屏電視和HMD的能力，兩路HDMI輸出是基本要求，同時(shí)HMD通過(guò)USB將陀螺儀等傳感器信息回傳給機(jī)頂盒，由機(jī)頂盒進(jìn)行對(duì)應(yīng)處理。硬件接口上，VR機(jī)頂盒支持兩個(gè)HDMI輸出是基本要求。
相對(duì)于傳統(tǒng)電視視頻業(yè)務(wù)，VR業(yè)務(wù)和用戶位置、方向信息相關(guān)，所以傳統(tǒng)上的遙控器操作模式不適合VR業(yè)務(wù)?，F(xiàn)在用的比較廣泛的操控外設(shè)是內(nèi)置陀螺儀的藍(lán)牙手柄，陀螺儀將運(yùn)動(dòng)信息送回給VR機(jī)頂盒，VR機(jī)頂盒通過(guò)計(jì)算來(lái)確定用戶操控行為。
隨著AI技術(shù)的發(fā)展，語(yǔ)音識(shí)別和手勢(shì)識(shí)別的效率和準(zhǔn)確度大幅提高，正在逐步應(yīng)用到VR業(yè)務(wù)中。語(yǔ)音識(shí)別和手勢(shì)識(shí)無(wú)需額外設(shè)備，簡(jiǎn)單易用，將極大的提升VR業(yè)務(wù)的用戶體驗(yàn)。未來(lái)，觸覺(jué)手套，味覺(jué)傳感器等備會(huì)使得虛擬體驗(yàn)更全面和真實(shí)。
在軟件架構(gòu)上，VR機(jī)頂盒軟件分為VR SDK層、中間件層和應(yīng)用層。
圖20 IPTV VR機(jī)頂盒系統(tǒng)架構(gòu)
芯片對(duì)其硬件能力進(jìn)行封裝，提供VR SDK，其中的主要功能包括：基于OMAF視點(diǎn)的傳輸方案控制，根據(jù)按需使用的方式獲取VR內(nèi)容，并完成解碼，映射、渲染等操作。
中間SDK層，主要功能是，獲取外部傳感器信令，或者用戶語(yǔ)音，手勢(shì)等操控信息，定位用戶位置或行為方向，識(shí)別用戶命令，通過(guò)VR SDK控制底層VR硬件。
應(yīng)用層，提供一個(gè)用戶可見的VR Launcher，來(lái)使用VR播放器和控制VR業(yè)務(wù)。其主要功能是，獲取VR EPG內(nèi)容，集成業(yè)務(wù)邏輯，通過(guò)Unity 3D等技術(shù)生成VR場(chǎng)景和VR電子菜單。
圖21 IPTV VR的EPG示例
VR機(jī)頂盒和HMD之間通過(guò)HDMI/USB線來(lái)連接，完成視頻傳輸、傳感信息回傳和供電，這帶來(lái)了使用者移動(dòng)不便等問(wèn)題，對(duì)用戶體驗(yàn)影響嚴(yán)重。無(wú)線傳輸方式成為未來(lái)演進(jìn)的一個(gè)重要方向。無(wú)線傳輸?shù)膬蓚€(gè)重要指標(biāo)是帶寬和時(shí)延，VR視頻的高分辨率和MTP20ms剛性約束，現(xiàn)有廣泛應(yīng)用的802.11ac WiFi協(xié)議遠(yuǎn)不能滿足要求。
正在發(fā)展有望滿足要求的無(wú)線技術(shù)有：
WiGig（802.11ad），是一種無(wú)線千兆比特網(wǎng)絡(luò)通用標(biāo)準(zhǔn)，工作于60Ghz頻段，支持近距離高達(dá)7Gbps的傳輸速率，滿足2K VR的要求。WiGig技術(shù)已被英特爾及其無(wú)線VR方案提供商DisplayLink所采用。2017年E3，英特爾展示的WiGig無(wú)線方案延遲為7ms。
WirelessHD，是較早的一種專有標(biāo)準(zhǔn)，專用于短距離傳輸高清視頻。WirelessHD 1.1版本采用了60Ghz頻段，最高傳輸速率可達(dá)28Gbps。
WirelessHD的解決方案需要一個(gè)接收器和一個(gè)發(fā)射器，其延時(shí)在5-15ms之間。TPCAST技術(shù)，是WirelessHD的一項(xiàng)應(yīng)用，已經(jīng)在HTC Vivo上實(shí)現(xiàn)，體驗(yàn)效果在2K VR水平，和有線傳輸區(qū)別不明顯，但是成本非常高。
此外，Li-Fi可見光通訊技術(shù)，可以達(dá)到50Gbps的傳輸速率，當(dāng)前還處于實(shí)驗(yàn)室階段，也是未來(lái)可能的選項(xiàng)之一。
4.6IPTV VR HMD技術(shù)要求
HMD良好的沉浸體驗(yàn)需要從人眼視覺(jué)特性著手，提供與人眼類似的視場(chǎng)角、良好的顯示效果（足夠的分辨率和色彩還原性能），并滿足人眼立體視覺(jué)、聚焦凝視、視覺(jué)融合等特性。目前技術(shù)可用成熟以光學(xué)屏幕技術(shù)為主，除了大視場(chǎng)角、高分辨率以外，解決會(huì)聚與聚焦的不匹配是提升HMD體驗(yàn)的主要難點(diǎn)，新型的甚至結(jié)合眼動(dòng)跟蹤功能的多焦面顯示、視網(wǎng)膜投影、光場(chǎng)顯示技術(shù)正在蓬勃發(fā)展。
光學(xué)屏幕的HMD對(duì)屏幕的要求是高分辨率、高刷新率和小體積。理想的近眼顯示屏幕分辨率應(yīng)該達(dá)到16K，刷新率達(dá)到1KHz，以及1寸或以下體積。目前的屏幕技術(shù)尚待進(jìn)一步提升。當(dāng)前顯示效果較好的OLED近眼顯示屏幕，單眼分辨率在1K左右，刷新率達(dá)到90Hz，國(guó)際上主流廠商如Sony、VIVE和Oculus都在產(chǎn)品中使用OLED屏幕。隨著LCD技術(shù)的發(fā)展，可以通過(guò)Fast LCD技術(shù)提升屏幕響應(yīng)時(shí)間顯著改善的產(chǎn)品。由于FastLCD屏幕在成本、產(chǎn)能上有顯著優(yōu)勢(shì)，預(yù)計(jì)在將來(lái)的兩到三年中成為主流，廣泛的使用。將來(lái)，近眼顯示屏幕需要的分辨率會(huì)進(jìn)一步提升而尺寸進(jìn)一步減小，現(xiàn)有的LCD和OLED技術(shù)都面臨接近工藝單位尺寸分辨率的極限，能支持更小尺寸、更高分辨率的硅基OLED技術(shù)是一個(gè)值得期待的發(fā)展方向，隨著這一類產(chǎn)品技術(shù)的成熟和價(jià)格的下降，在今后三到五年年中，硅基OLED有可能成為近眼顯示的主流屏幕。
良好的光學(xué)設(shè)計(jì)對(duì)于HMD至關(guān)重要，它有助于確定可獲取的視場(chǎng)和整體圖像清晰度。在HMD早期，簡(jiǎn)單的球面或者光滑非球面鏡片由于設(shè)計(jì)簡(jiǎn)單、成本低成為了頭顯的主流選擇。有代表性的產(chǎn)品包括Oculus DK2,三星GearVR，以及Google的CardBoard等。隨著VR的普及，用戶對(duì)視場(chǎng)角大小和屏幕像素晶格感方面的有了進(jìn)一步的要求，菲涅爾透鏡由于具備短焦距和光學(xué)擴(kuò)散的特點(diǎn)，成為新一代HMD的主流光學(xué)方案。當(dāng)HMD的尺寸、重量進(jìn)一步下降，屏幕的分辨率進(jìn)一步提高，現(xiàn)有的菲涅爾透鏡在尺寸、成像清晰度方面遇到挑戰(zhàn)，而新型的菲涅爾結(jié)合非球面多透鏡光學(xué)方案將會(huì)出現(xiàn)。
在數(shù)據(jù)接口方面，頭顯的HDMI接口應(yīng)不低于HDMI 1.4.對(duì)于分辨率/刷新率綜合指標(biāo)高于2560x1440@70Hz的頭顯，其HDMI接口需要支持HDMI 2.0標(biāo)準(zhǔn)（或支持DP 1.3以上）。最新的HDMI2.1接口支持8K@60Hz的48Gbsp的傳輸速率，而2016年推出的DP1.4最高支持32Gbps的傳輸速率，如果使用90Hz屏幕，所能單眼分辨率極限約為4K。如果需要支持16K@1kHz的屏幕，HDMI和DisplayPort等標(biāo)準(zhǔn)仍然需要多年的演進(jìn)。在HMD的交互方面，USB3.0接口可以滿足現(xiàn)有傳感信息和inside-out攝像頭數(shù)據(jù)的基本需求。交互的形式從HMD的按鍵，3Dof手柄，6Dof頭盔/手柄組合都會(huì)得到相應(yīng)的應(yīng)用。實(shí)現(xiàn)的成本從簡(jiǎn)單按鍵到復(fù)雜的6Dof設(shè)備逐漸上升，而交互的體驗(yàn)也是逐漸上升的。
5、IPTV VR對(duì)寬帶網(wǎng)絡(luò)的需求
5.1 VR體驗(yàn)的持續(xù)演進(jìn)成為寬帶網(wǎng)絡(luò)發(fā)展的主要?jiǎng)恿?/span>
當(dāng)代信息通信的基礎(chǔ)是互聯(lián)網(wǎng)技術(shù)和移動(dòng)通信技術(shù)，架構(gòu)其上的無(wú)所不及的互聯(lián)網(wǎng)應(yīng)用已經(jīng)深入到社會(huì)的方方面面，并正在改變著我們這個(gè)時(shí)代的面貌?；仡櫦夹g(shù)發(fā)展歷程，應(yīng)用和網(wǎng)絡(luò)相互促進(jìn)，螺旋上升，推動(dòng)著技術(shù)創(chuàng)新和社會(huì)發(fā)展。虛擬現(xiàn)實(shí)技術(shù)以其沉浸性、交互性和構(gòu)想性的體驗(yàn)，推動(dòng)著網(wǎng)絡(luò)向高帶寬、低延時(shí)、無(wú)線化方向演進(jìn)發(fā)展，為網(wǎng)絡(luò)的質(zhì)量保障、接入技術(shù)和網(wǎng)絡(luò)架構(gòu)的發(fā)展注入源動(dòng)力。
圖22 VR體驗(yàn)提升與網(wǎng)絡(luò)演進(jìn)
VR發(fā)展首要滿足沉浸體驗(yàn)的要求，預(yù)計(jì)對(duì)網(wǎng)絡(luò)帶寬的需求達(dá)到100-500Mbps。提升沉浸感的需求促使VR分辨率和幀率越來(lái)越高，推動(dòng)VR視頻帶寬需求的提高。根據(jù)計(jì)算，8K VR全景視頻的傳輸帶寬需求超過(guò)100Mbps，16K-32K VR全景視頻的傳輸帶寬需求更是高達(dá)1-4Gbps，即使采用基于視點(diǎn)自適應(yīng)的傳輸模式，帶寬需求依然高達(dá)500Mbps，需要千兆寬帶才能提供支持；而更具沉浸感知體驗(yàn)的光場(chǎng)、全息VR，則需要現(xiàn)有基礎(chǔ)上的100-1000倍的傳輸帶寬需求。
VR發(fā)展在沉浸體驗(yàn)達(dá)到一定程度時(shí)必然會(huì)對(duì)交互體驗(yàn)提出更高的要求，預(yù)計(jì)對(duì)網(wǎng)絡(luò)時(shí)延的需求達(dá)到10-5ms。提升VR交互體驗(yàn)的需求，則更多的對(duì)網(wǎng)絡(luò)延時(shí)帶來(lái)挑戰(zhàn)。在交互式VR場(chǎng)景中，顯示的內(nèi)容根據(jù)用戶的位置和行為進(jìn)行實(shí)時(shí)變化。對(duì)于實(shí)時(shí)內(nèi)容的交互式業(yè)務(wù)，如VR社交、VR實(shí)時(shí)操控，過(guò)大的緩存和傳輸延時(shí)會(huì)造成交互不流暢而影響體驗(yàn)。為保證交互的基本的流暢性，網(wǎng)絡(luò)傳輸延時(shí)不能大于20ms，而對(duì)于極致的VR交互體驗(yàn)，端到端延時(shí)應(yīng)小于20ms，網(wǎng)絡(luò)延時(shí)則需要降低到10ms以內(nèi)。對(duì)于非實(shí)時(shí)內(nèi)容的交互式業(yè)務(wù)，如6DoF場(chǎng)景，網(wǎng)絡(luò)時(shí)延越大，則需要預(yù)先傳輸?shù)囊朁c(diǎn)內(nèi)容越多，所需的傳輸速率越高，若1ms網(wǎng)絡(luò)延時(shí)，所需的傳輸速率是100Mbps，在20ms網(wǎng)絡(luò)延時(shí)，傳輸?shù)乃俾室髮⑦_(dá)到600Mbps。因此，網(wǎng)絡(luò)延時(shí)20ms是基本要求，隨著VR交互體驗(yàn)的提升，對(duì)網(wǎng)絡(luò)時(shí)延的要求需要提升到小于10ms甚至5ms。
在融合體驗(yàn)階段，所需傳輸?shù)臄?shù)據(jù)不僅僅是視覺(jué)信息和聽覺(jué)信息，還可能包括運(yùn)動(dòng)加速度、觸覺(jué)甚至嗅覺(jué)等信息。但視覺(jué)信息仍是其中最主要的內(nèi)容。這時(shí)，視覺(jué)信息的呈現(xiàn)方式將包括全息影像、光場(chǎng)等方式，這些方式的每個(gè)點(diǎn)都包含整個(gè)場(chǎng)景的部分或者全部信息，網(wǎng)絡(luò)所需傳輸?shù)男畔⒊蓭缀渭?jí)數(shù)增加。技術(shù)的進(jìn)步可以將所需傳輸?shù)臄?shù)據(jù)量大大壓縮，但我們?nèi)怨烙?jì)需要傳統(tǒng)方式100~1000倍的帶寬才能承載融合體驗(yàn)的VR業(yè)務(wù)。
用戶任何時(shí)候、任何地點(diǎn)觀看高沉浸感VR內(nèi)容的需求，對(duì)VR業(yè)務(wù)的便攜性和可移動(dòng)性提出要求，推動(dòng)著網(wǎng)絡(luò)固移融合的發(fā)展。固定寬帶因其高帶寬、低延時(shí)的特性，是IPTV VR率先邁出普及步伐的優(yōu)勢(shì)和基礎(chǔ)，而包括WiFi和移動(dòng)數(shù)據(jù)網(wǎng)絡(luò)的無(wú)線接入承載會(huì)將VR的普及和體驗(yàn)推向更高的階段。
圖23 IPTV VR網(wǎng)絡(luò)架構(gòu)
VR沉浸體驗(yàn)、交互體驗(yàn)和融合體驗(yàn)所需要的需要高帶寬、低延時(shí)的承載網(wǎng)絡(luò)，推動(dòng)網(wǎng)絡(luò)向計(jì)算邊緣化，結(jié)構(gòu)扁平化發(fā)展。VR內(nèi)容場(chǎng)景的渲染需要高計(jì)算力的支撐，尤其對(duì)于CG內(nèi)容和6DoF的場(chǎng)景，計(jì)算力云化和VR業(yè)務(wù)的低延時(shí)特性，對(duì)網(wǎng)絡(luò)延時(shí)提出了更高的要求，當(dāng)傳統(tǒng)的集中式業(yè)務(wù)中心和多層的網(wǎng)絡(luò)架構(gòu)難以滿足低延時(shí)要求時(shí)，就需要將業(yè)務(wù)節(jié)點(diǎn)逐步下沉到網(wǎng)絡(luò)邊緣，推動(dòng)接入機(jī)房（AO）重構(gòu)，提供多接入邊緣計(jì)算（MEC）能力，并推動(dòng)網(wǎng)絡(luò)架構(gòu)從傳統(tǒng)的多層匯聚架構(gòu)向扁平化網(wǎng)絡(luò)演進(jìn)。
VR業(yè)務(wù)高帶寬、低延時(shí)的需求，還推動(dòng)著網(wǎng)絡(luò)智能化的發(fā)展。一方面，VR業(yè)務(wù)是網(wǎng)絡(luò)質(zhì)量敏感業(yè)務(wù)，輕微的延時(shí)抖動(dòng)、丟包就會(huì)對(duì)業(yè)務(wù)體驗(yàn)產(chǎn)生影響；另一方面，網(wǎng)絡(luò)狀態(tài)瞬息萬(wàn)變，只有實(shí)時(shí)地根據(jù)網(wǎng)絡(luò)狀態(tài)對(duì)VR流量進(jìn)行智能化的動(dòng)態(tài)監(jiān)控和調(diào)度，才有可能對(duì)VR業(yè)務(wù)進(jìn)行高效的保障，并將其對(duì)網(wǎng)絡(luò)的沖擊減到最小。網(wǎng)絡(luò)的NFV和SDN化為網(wǎng)絡(luò)智能化奠定了基礎(chǔ)，5G引入的網(wǎng)絡(luò)切片技術(shù)為端到端QoS保障提供了新的手段。通過(guò)大數(shù)據(jù)的網(wǎng)絡(luò)狀態(tài)和業(yè)務(wù)質(zhì)量的識(shí)別，人工智能輔助的網(wǎng)絡(luò)智能調(diào)度和運(yùn)營(yíng)保障，智能化的網(wǎng)絡(luò)有能力為VR的沉浸體驗(yàn)、交互體驗(yàn)和融合體驗(yàn)提供高效的保障。
5.2 10G PON接入成為IPTV VR業(yè)務(wù)的網(wǎng)絡(luò)基礎(chǔ)
10G PON技術(shù)將成為滿足IPTV VR第一階段帶寬要求的基礎(chǔ)，目前固網(wǎng)接入方式依然為GPON、EPON為主，難以滿足第一階段中8K、16K等VR全景視頻要求的百兆以上的家庭帶寬接入能力。GPON單接口的下行總帶寬按2.5G計(jì)算，收斂比按照50%計(jì)算，在1:64分光比下每用戶帶寬尚不足100Mbps，因此GPON/EPON技術(shù)難以滿足IPTV VR的大規(guī)模普及，EPON向10G EPON演進(jìn)，GPON向10G GPON演進(jìn)已成為現(xiàn)階段千兆入戶的主要技術(shù)方向。10G PON分為非對(duì)稱10GPON（XG-GPON）和對(duì)稱10G PON（XGS-GPON），非對(duì)稱10G PON提供1.5G（10G EPON）/2.5G（10G GPON）上行和10G下行，對(duì)稱10G PON提供10G上行和10G下行，收斂比按照50%計(jì)算，則在1:64分光比下每用戶帶寬可達(dá)到300Mbps，將滿足IPTV 8K到16K VR全景視頻業(yè)務(wù)的帶寬需求。
下一代PON技術(shù)，一方面是通過(guò)單波長(zhǎng)提速，實(shí)現(xiàn)25G PON，另一方面是通過(guò)多個(gè)25G波長(zhǎng)堆疊實(shí)現(xiàn)100G PON。ITU已開始制定下一代PON標(biāo)準(zhǔn)，IEEE 802.3已開始著手制定25G/100G PON標(biāo)準(zhǔn)，ITU和IEEE的“PON融合”已成趨勢(shì)，單波長(zhǎng)25G正在成為標(biāo)準(zhǔn)，25G PON可以在分光比1:32/64情況下給用戶開通1Gbps以上帶寬，100G PON則可以在分光比1:32/64情況下給用戶開通4Gbps以上帶寬。
5.3 IPTV VR將促進(jìn)家庭智能組網(wǎng)及WiFi千兆覆蓋
IPTV VR業(yè)務(wù)的普及必將推動(dòng)家庭網(wǎng)絡(luò)WiFi從百兆無(wú)縫覆蓋進(jìn)入千兆無(wú)縫覆蓋。相比現(xiàn)階段802.11n最大支持40MHz頻寬、最大四個(gè)空間流的MIMO、SU-MIMO和64-QAM，難以提供家庭環(huán)境下用戶體驗(yàn)速率100Mbps的無(wú)縫覆蓋。802.11ac工作在信道多干擾少的5GHz頻段，單天線（單空間流）最大物理速率可以達(dá)到433Mbps，實(shí)際數(shù)據(jù)速率可以達(dá)到100Mbps以上，通過(guò)2*2以上的MIMO保證Wi-Fi的數(shù)據(jù)速率，不低于200Mbps，802.11ac將滿足IPTV VR第一階段帶寬需求。而Wi-Fi帶寬要求500Mbps以上千兆以下時(shí)，需要使用支持4*4 MU-MIMO的802.11ac wave2標(biāo)準(zhǔn)或者升級(jí)到下一代的802.11ax標(biāo)準(zhǔn)。
預(yù)計(jì)2019年正式公布的802.11ax標(biāo)準(zhǔn)采用MU-MIMO、OFDM、1024-QAM等技術(shù)最大可實(shí)現(xiàn)10Gbps空口速率，同時(shí)具有更強(qiáng)的抗干擾能力、更強(qiáng)的并發(fā)能力、更遠(yuǎn)的傳輸距離，以保障丟包率、時(shí)延以及帶寬穩(wěn)定性等性能指標(biāo)，可以在用戶密集的環(huán)境下提供一致且穩(wěn)定的傳輸速率。
此外，IEEE 802.11目前在制訂基于60GHz的下一代Wi-Fi標(biāo)準(zhǔn)802.11ay，通過(guò)channel bonding，MU-MIMO等技術(shù)可提供20-40Gbps帶寬，可實(shí)現(xiàn)無(wú)壓縮視頻幀數(shù)據(jù)傳輸。802.11ay技術(shù)可用于VR頭顯的無(wú)線化，是利用無(wú)線傳輸技術(shù)進(jìn)行無(wú)損的視頻傳輸以解決主機(jī)VR，頭顯與主機(jī)之間的連線影響用戶體驗(yàn)的問(wèn)題。
5.4 VR時(shí)代的發(fā)展呼喚5G時(shí)代的低時(shí)延高帶寬網(wǎng)絡(luò)
隨時(shí)隨地100Mbps用戶體驗(yàn)速率的覆蓋是移動(dòng)網(wǎng)絡(luò)承載VR+時(shí)代的基礎(chǔ)，VR從沉浸感知體驗(yàn)走向虛實(shí)融合體驗(yàn)，對(duì)無(wú)線移動(dòng)通信網(wǎng)絡(luò)承載能力提出了挑戰(zhàn)。目前LTE商用環(huán)境的單用戶理論峰值速率為100-300Mbps，然而受基站覆蓋、小區(qū)用戶數(shù)、信號(hào)強(qiáng)度、干擾等因素影響，用戶體驗(yàn)速率為3～30Mbps，尚不具備承載初期8K VR全景視頻帶寬需求的能力。
2017年12月ITU、3GPP相繼發(fā)布了5G NR新空口技術(shù)需求和標(biāo)準(zhǔn)，隨著5G新空口技術(shù)、網(wǎng)絡(luò)架構(gòu)和核心網(wǎng)絡(luò)標(biāo)準(zhǔn)的演進(jìn)和逐步商業(yè)部署，預(yù)計(jì)2020年起5G增強(qiáng)移動(dòng)寬帶場(chǎng)景（eMBB）將推動(dòng)VR沉浸感知從8K、16K VR，走向光場(chǎng)、全息VR，進(jìn)一步結(jié)合高可靠低時(shí)延場(chǎng)景（uRLLC）VR將進(jìn)入與虛擬世界交互和融合的大發(fā)展主題。
VR業(yè)務(wù)體驗(yàn)的提升和5G新技術(shù)的應(yīng)用部署將進(jìn)入相互促進(jìn)匹配階段。5G空口采用新型多址和多載波、高頻段通信、高低頻協(xié)同、超密集組網(wǎng)、大規(guī)模天線陣列等技術(shù)，可提供更高的網(wǎng)絡(luò)能力，5G網(wǎng)絡(luò)采用的邊緣計(jì)算、網(wǎng)絡(luò)切片等技術(shù)，可更好地承載VR社交、VR游戲、6DoF VR等延時(shí)敏感型VR業(yè)務(wù)。VR體驗(yàn)的每一步提升都將構(gòu)成對(duì)5G網(wǎng)絡(luò)流量密度（10Mbps/平米->100Mbps/平米）、用戶體驗(yàn)速率（100Mbps->1Gbps）、數(shù)據(jù)面時(shí)延（10ms->1ms）的重要驅(qū)動(dòng)。
6、總結(jié)與行動(dòng)計(jì)劃
6.1總結(jié)：VR賦能IPTV，IPTV普及VR
VR時(shí)代大幕剛剛開啟，搶占VR時(shí)代的新業(yè)務(wù)、新入口和新流量，VR+（視頻、全景、直播、游戲、社交、電商）存在無(wú)限可能。隨著經(jīng)濟(jì)的發(fā)展，已經(jīng)進(jìn)入消費(fèi)升級(jí)的階段，以VR創(chuàng)新形態(tài)推動(dòng)IPTV業(yè)務(wù)，集成VR技術(shù)的最新成果，以提升用戶沉浸體驗(yàn)為目標(biāo)，服務(wù)IPTV的戰(zhàn)略又賦能IPTV的發(fā)展和演進(jìn)。IPTV的發(fā)展面臨如何進(jìn)一步提升用戶的觀影體驗(yàn)，如何進(jìn)一步促進(jìn)寬帶業(yè)務(wù)邁入千兆時(shí)代的挑戰(zhàn)，VR的沉浸體驗(yàn)和高帶寬需求恰好與IPTV的戰(zhàn)略吻合。
IPTV從推動(dòng)用戶視頻體驗(yàn)提升出發(fā)，通過(guò)利用VR最新技術(shù)給用戶提供沉浸級(jí)的視頻體驗(yàn)，提升用戶的感知。進(jìn)而提供8K以上分辨率的全景視頻業(yè)務(wù)，進(jìn)一步滿足用戶對(duì)360度全景視頻的新體驗(yàn)。以規(guī)?；?、標(biāo)準(zhǔn)化為手段，降低產(chǎn)業(yè)成本，打通VR內(nèi)容分發(fā)渠道，為高質(zhì)量?jī)?nèi)容變現(xiàn)提供可能，進(jìn)而以應(yīng)用驅(qū)動(dòng)，在應(yīng)用中改進(jìn)VR沉浸體驗(yàn)技術(shù)、提高VR虛實(shí)交互技術(shù)，推動(dòng)VR生態(tài)的繁榮。IPTV VR的啟航必將極大的推動(dòng)VR時(shí)代的進(jìn)程，拉動(dòng)VR產(chǎn)業(yè)的發(fā)展，普及VR業(yè)務(wù)在公眾/行業(yè)的應(yīng)用，推動(dòng)城市智慧服務(wù)、信息消費(fèi)升級(jí)、信息化水平，在VR領(lǐng)域開創(chuàng)一條以應(yīng)用驅(qū)動(dòng)，在應(yīng)用中發(fā)展技術(shù)的可持續(xù)創(chuàng)新。
6.2行動(dòng)：挑起VR+時(shí)代的新扁擔(dān)
新一代信息通信產(chǎn)業(yè)發(fā)展已經(jīng)進(jìn)入“應(yīng)用驅(qū)動(dòng)，在應(yīng)用中改進(jìn)技術(shù)提高技術(shù)”的創(chuàng)新模式，業(yè)務(wù)應(yīng)用的發(fā)展壯大和ICT技術(shù)的演進(jìn)創(chuàng)新就如同扁擔(dān)的兩頭。IPTV成為融合傳統(tǒng)媒體和新興媒體網(wǎng)絡(luò)傳播的重要渠道，具備應(yīng)用創(chuàng)新的巨大優(yōu)勢(shì)：上億用戶規(guī)模、平臺(tái)終端標(biāo)準(zhǔn)化規(guī)范、技術(shù)創(chuàng)新活躍、產(chǎn)業(yè)影響力強(qiáng)。2016年下半年，VR產(chǎn)業(yè)進(jìn)入低谷，與承諾的用戶預(yù)期落差較大，用戶觀望失落。值此產(chǎn)業(yè)黎明前，需要有擔(dān)當(dāng)?shù)倪\(yùn)營(yíng)商的規(guī)?；芰蜆I(yè)界領(lǐng)袖企業(yè)的創(chuàng)新力聯(lián)合，從上而下構(gòu)筑聯(lián)合產(chǎn)業(yè)共識(shí)，挑起VR+時(shí)代新扁擔(dān)，鼓舞產(chǎn)業(yè)信心、解決技術(shù)難題、探索新的業(yè)務(wù)形態(tài)、推動(dòng)IPTV VR從驗(yàn)證到興起到繁榮到飛躍。
中國(guó)智慧家庭產(chǎn)業(yè)聯(lián)盟已經(jīng)開始行動(dòng)，與業(yè)界創(chuàng)新企業(yè)一起開展多輪VR技術(shù)圓桌論壇，與中國(guó)信通院發(fā)布虛擬（增強(qiáng)）現(xiàn)實(shí)產(chǎn)業(yè)白皮書，與工信部標(biāo)準(zhǔn)化協(xié)會(huì)VR/AR工作組進(jìn)行IPTV VR應(yīng)用場(chǎng)景、技術(shù)需求及實(shí)施方案研討，與IPTV機(jī)頂盒主流芯片廠商進(jìn)行芯片級(jí)VR能力要求及標(biāo)準(zhǔn)化制定。IPTV VR正沿著技術(shù)調(diào)研、測(cè)試驗(yàn)證、產(chǎn)業(yè)共識(shí)、標(biāo)準(zhǔn)化推進(jìn)、產(chǎn)業(yè)鏈引導(dǎo)、現(xiàn)網(wǎng)試點(diǎn)、規(guī)模推廣有序進(jìn)行。
2017年：充分調(diào)研現(xiàn)階段VR技術(shù)的最新成果，搭建原型產(chǎn)品和業(yè)務(wù)，進(jìn)行測(cè)試驗(yàn)證，以白皮書為抓手推進(jìn)產(chǎn)業(yè)共識(shí)。
2018年：在產(chǎn)業(yè)共識(shí)的基礎(chǔ)上推進(jìn)企業(yè)標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)和國(guó)際標(biāo)準(zhǔn)的制定和完善，基于標(biāo)準(zhǔn)化推動(dòng)產(chǎn)業(yè)鏈進(jìn)行產(chǎn)品化開發(fā)，在有意愿的省市開展現(xiàn)網(wǎng)試點(diǎn)、試商用，進(jìn)行技術(shù)和業(yè)務(wù)的迭代創(chuàng)新。
2019年：大力開展VR+創(chuàng)新業(yè)務(wù)，推動(dòng)更多VR+業(yè)務(wù)的探索和試點(diǎn)，在應(yīng)用中改進(jìn)VR沉浸體驗(yàn)，走向VR+新時(shí)代。
7、術(shù)語(yǔ)表/縮略表
微信掃一掃
