建站
咨詢
售后
建站咨詢
新聞中心
【稿件】VR直播是2016年VR行業(yè)的熱點(diǎn)，用戶和從業(yè)者都希望它能夠緩解VR內(nèi)容不足的問題。然而，目前VR直播還面臨著很多問題，系統(tǒng)落地難度比較高，用戶體驗(yàn)也不夠好。從系統(tǒng)落地角度，拍攝、編碼壓縮、網(wǎng)絡(luò)傳輸和播放等各個(gè)環(huán)節(jié)需要進(jìn)行系統(tǒng)的設(shè)計(jì)和優(yōu)化。從用戶體驗(yàn)角度，需要在臨場(chǎng)感、沉浸感和互動(dòng)性三個(gè)方面一起發(fā)力，才能為用戶提供合格的VR直播。
成都創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供桑植網(wǎng)站建設(shè)、桑植做網(wǎng)站、桑植網(wǎng)站設(shè)計(jì)、桑植網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計(jì)與制作、桑植企業(yè)網(wǎng)站模板建站服務(wù)，十余年桑植做網(wǎng)站經(jīng)驗(yàn)，不只是建網(wǎng)站，更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。
【講師簡(jiǎn)介】
任福新，RGB聯(lián)合創(chuàng)始人兼CTO。中科院計(jì)算所博士，互聯(lián)網(wǎng)創(chuàng)業(yè)老兵。在數(shù)據(jù)挖掘，推薦系統(tǒng)，游戲，虛擬現(xiàn)實(shí)等領(lǐng)域有多年研發(fā)經(jīng)驗(yàn)。2015合伙組建RGBVR團(tuán)隊(duì)，致力于VR視頻點(diǎn)播和直播產(chǎn)品研發(fā)與關(guān)鍵技術(shù)研究，已推出國(guó)內(nèi)***全功能的VR視頻播放器-小花看看，國(guó)內(nèi)***3DVR秀場(chǎng)直播平臺(tái)-小花秀，并預(yù)計(jì)為行業(yè)開發(fā)者開放其直播服務(wù)。
VR直播火爆
據(jù)相關(guān)咨詢公司有關(guān)數(shù)據(jù)報(bào)告，2016年，VR市場(chǎng)規(guī)模預(yù)計(jì)會(huì)達(dá)到56億，到2020年，可以達(dá)到556億，接近10倍的增長(zhǎng)。網(wǎng)絡(luò)直播，截至2015年年底，有平臺(tái)200余家，在線人數(shù)有400萬。在今年上半年手機(jī)直播火爆之后，直播平臺(tái)數(shù)量保守估計(jì)已經(jīng)有400家，在線人數(shù)也已經(jīng)遠(yuǎn)遠(yuǎn)被刷新了，例如，Papi醬的網(wǎng)絡(luò)首秀，對(duì)外宣稱的同時(shí)在線人數(shù)有2000萬。
VR市場(chǎng)、VR技術(shù)被寄予厚望，是一個(gè)新技術(shù)，一種黑科技。VR直播是大眾娛樂一種很重要的內(nèi)容形式，通過網(wǎng)絡(luò)直播方式去溝通交流、交友、獲取信息，已經(jīng)成為一種潮流。VR直播的一個(gè)優(yōu)勢(shì)，就是能給大家?guī)砩砼R其境的體驗(yàn)，成為一種很重要的內(nèi)容消費(fèi)形式。
VR直播的挑戰(zhàn)
無論是開發(fā)者，還是硬件廠商，都會(huì)面臨一件苦惱的事情：做出來了頭盔，搭建了一個(gè)平臺(tái)，買了很多版權(quán)，有很多內(nèi)容，但是消費(fèi)者就是不買賬，號(hào)稱有400萬注冊(cè)用戶，但其實(shí)每天日活只有一兩萬。這時(shí)，一些問題就浮出水面：適合VR的內(nèi)容形式與表演方式是什么樣的?怎么拍攝高質(zhì)量的VR視頻?怎么分發(fā)和存儲(chǔ)高分辨率和高碼率的VR視頻?如何呈現(xiàn)、交互?
VR直播流程
VR直播流程和普通直播流程很像，但要達(dá)到身臨其境的感覺，在頭盔端需要達(dá)到4K甚至更高的分辨率，所以整個(gè)流程的各個(gè)環(huán)節(jié)的要求都提高了，這時(shí)候就需要從端到端進(jìn)行變革。合格的拍攝設(shè)備、高效的視頻處理流程、夠?qū)挼木W(wǎng)絡(luò)傳輸、舒適的頭顯設(shè)備、精心打造的直播應(yīng)用，這些都是VR直播的重要環(huán)節(jié)。
1. VR攝像機(jī)
如上圖所示，從左到右依次是360度攝像機(jī)、180度3D攝像機(jī)、360度3D攝像機(jī)。360度攝像機(jī)的特點(diǎn)是能夠覆蓋360度角度，把圖像采集下來，異構(gòu)后續(xù)處理。180度3D攝像機(jī)雖然是180度，犧牲了一半的空間，但是具有3D功能，能夠讓用戶感覺到景深，帶來體驗(yàn)上的升級(jí)。360度3D攝像機(jī)是比較高級(jí)的設(shè)備，基本上能夠全場(chǎng)景包圍，還有立體感。
無論是哪一種形式的相機(jī)都需要解決幾個(gè)問題：由于都是多顆鏡頭、多個(gè)傳感器共同協(xié)作，首先需要有多顆鏡頭去覆蓋想要覆蓋的角度，360度或180度，需要做到多個(gè)傳感器之間同步，同時(shí)開始拍攝，才能在后續(xù)進(jìn)行比較好的拼接。此外，還需要色彩、白平衡等各種參數(shù)達(dá)到一致，方便后續(xù)處理。
2. 視頻處理
1)首先是拼接：將多鏡頭拍攝的畫面進(jìn)行亮度色彩調(diào)整、對(duì)齊、畸變矯正、投影到球面等一系列處理后，合成為一幅完整畫面的過程。
拼接的核心在于，分開不同的角度拍了很多照片之間會(huì)有重疊，需要找一個(gè)合適的位置把它們疊在一起，如何找到這個(gè)位置?用的最多方法是基于圖像特征控制點(diǎn)的方法，基于圖像的灰度變化特征，找到灰度變化差異最小的塊疊在一起。
基于圖像特征control points控制點(diǎn)
用這種方法完成拼接后，出來的效果整體上看不到接縫，能夠找到一個(gè)點(diǎn)去匹配，但是如果仔細(xì)看還是能夠發(fā)現(xiàn)，或者存在兩個(gè)畫面有不一致的點(diǎn)，或者接縫處會(huì)存在模糊的現(xiàn)象。因?yàn)閮蓚€(gè)鏡頭從不同的角度拍到的圖像是同一個(gè)物體的不同側(cè)面，其實(shí)是沒有辦法***拼接到一起的，這個(gè)方法不可能做到***的圖像輸出。很多離線視頻之所以看上去找不到任何拼接痕跡，主要是后期進(jìn)行了大量制作，需要很多人力逐幀做拼接，但在實(shí)時(shí)里沒有機(jī)會(huì)做。
另外一種拼接方法是基于機(jī)器視覺optical flow光流法。大體原理是用光流法，計(jì)算兩個(gè)微小變化畫面之間主點(diǎn)對(duì)應(yīng)時(shí)，點(diǎn)的對(duì)應(yīng)關(guān)系求***解的過程。一旦求出來同一個(gè)點(diǎn)在兩張畫面中不同位置，就可以算出視差和深度，這樣就可以借助這個(gè)深度做差值，進(jìn)而生成360度的3D圖像。
2)投影變換
目前VR行業(yè)中最常用的投影方式是Equirectangular 等距矩形投影。
可以認(rèn)為是一個(gè)球沿著某一條經(jīng)線撕扯開平鋪在一個(gè)平面上，在平鋪的過程中赤道線上的長(zhǎng)度是不變的，兩個(gè)極點(diǎn)就是兩個(gè)點(diǎn)，尤其是當(dāng)緯度越高面積很小，要平鋪到球面時(shí)就要撕扯開，保留了多個(gè)相機(jī)之間畫面仍然是連續(xù)的，雖然進(jìn)行了拉深，但是仍然連續(xù)，所以這方便拍視頻時(shí)監(jiān)看，看現(xiàn)在演員的站位好不好，看有沒有穿幫，仍然能從圖像里看出來，非常方便做后期處理。但是，有一個(gè)很大的缺點(diǎn)，就是浪費(fèi)了很多存儲(chǔ)，在極點(diǎn)做了很大的拉扯，那里的圖像面積很小，但卻花了很多面積存儲(chǔ)這部分。比如南極洲實(shí)際面積應(yīng)該是在1400萬平方公里，而非洲是4000萬平方公里，在這個(gè)圖上可以明顯看出來南極洲比非洲大很多，那些存儲(chǔ)都浪費(fèi)掉了。
Cylindrical Equal-area 圓柱形等面積投影是改進(jìn)的一種方法。
既然靠近極點(diǎn)那部分的面積實(shí)際很小，在投影變換時(shí)做小，在y×sinφ，隨著離極點(diǎn)越近，存儲(chǔ)面積就越小，從這個(gè)圖里可以看到南極洲面積被壓縮得非常小，到極點(diǎn)就形成一條線。簡(jiǎn)單作一下對(duì)比，等距投影和柱形等積投影，用方格子可以明顯看出來在靠近極點(diǎn)時(shí)處理不同，在接近中心的地方可以從畫紅框部分對(duì)比出來，在底下的示意圖也能看出來，柱形等積投影清晰度會(huì)比等距投影清晰度高很多，這是在同等尺寸、同等存儲(chǔ)空間的限制下。初步計(jì)算大約在10度能夠提升50%的清晰度。
Cube map 立方體圖投影
Cube map廣泛用于計(jì)算機(jī)圖形學(xué)中，比如unity中的天空盒、反射等應(yīng)用都使用cubemap的方式來做。
優(yōu)勢(shì)是各面沒有幾何變形，各面像素點(diǎn)均勻分布，投影很方便，當(dāng)從一個(gè)球面投影到Cube map操作很方便，反投影回去也很方便?，F(xiàn)在視頻編碼時(shí)限是考慮到運(yùn)動(dòng)物體關(guān)聯(lián)關(guān)系做，如果沒有幾何變形，這個(gè)關(guān)系能夠利用得很好，存儲(chǔ)壓縮可以壓到更低。像素均勻分布，在監(jiān)看時(shí)也能夠看得比較清楚，因?yàn)闆]有變形，能夠清晰地看到表演者或這些物體的真實(shí)情況?？梢怨?jié)省25%的像素存儲(chǔ)空間。
3)編碼
把視頻流拼接好，做好投影，在分發(fā)出去時(shí)要進(jìn)行編碼，否則視頻量太大，沒有辦法做分發(fā)?，F(xiàn)在一般常用的編碼還是H264，一般4K清晰度的VR視頻264編碼碼率大于10M，在編碼和清晰度之間要找一個(gè)合適的點(diǎn)，理論上做到幾兆都可以，一般壓到6M，再小容易出現(xiàn)視頻不清晰。265在現(xiàn)在很多存儲(chǔ)，包括點(diǎn)播視頻里已經(jīng)用起來了，因?yàn)楝F(xiàn)在很多電視盒子都帶265硬解功能，現(xiàn)在手機(jī)都是旗艦機(jī)才帶4K265硬解，在很多手機(jī)還不支持的情況下，電視盒子已經(jīng)開始支持了。盡快在直播中用到265，能夠節(jié)省30%-50%的帶寬信號(hào)。
3. 網(wǎng)絡(luò)傳輸
編碼之后的視頻要進(jìn)行網(wǎng)絡(luò)分發(fā)，要解決的問題就是上行和下行。需要注意的問題有：盡量減少上行碼率，使用云轉(zhuǎn)碼生成多碼率視頻，根據(jù)客戶情況動(dòng)態(tài)調(diào)整下行碼率。
4. 直播應(yīng)用
云端分發(fā)的視頻流用戶拿到之后，在直播應(yīng)用里需要做幾件事情，一是營(yíng)造強(qiáng)的沉浸感，這是VR核心。二是強(qiáng)的臨場(chǎng)感。三是方便的交互方式。此外還有高性能解碼播放、適配各種手機(jī)和頭顯設(shè)備、低延遲、秒開、音畫一致等。沉浸感的營(yíng)造方式主要有全空間包圍、直播畫面大于人眼FOV、等比例還原、Avatar形象提升代入感等。臨場(chǎng)感提升主要靠3D技術(shù)。語音聊天、送禮物等都是比較方便的交互方式。
5. 頭顯設(shè)備
頭顯設(shè)備中比較熱門的是移動(dòng)頭顯設(shè)備，一種是Cardboard，一種是GeraVR，還有一體機(jī)。指標(biāo)參數(shù)方面：分辨率應(yīng)該達(dá)到2K，計(jì)算能力需要到驍龍820，因?yàn)镃PU運(yùn)算和對(duì)視頻解碼要求比較高，解碼能力要4K硬解。系統(tǒng)和交互主要是輸入，比較看好Daydream輸入，小手柄的設(shè)計(jì)很好，里面有陀螺儀，還有很多按鍵設(shè)計(jì)很不錯(cuò)。其他的要求主要有延遲低、FOV足夠大、無畸變、無色散。
VR直播發(fā)展趨勢(shì)
以上介紹的僅僅是VR直播最基礎(chǔ)的形式。目前，很多用戶在觀看的時(shí)候想自由走動(dòng)，從不同角度觀看。未來VR直播肯定能夠支持這點(diǎn)，使用三維場(chǎng)景真實(shí)還原現(xiàn)實(shí)環(huán)境，并提供更自然直接的交互方式。微軟、Replay Technologies的FreeD在這些方面已經(jīng)有些成果了。甚至像前段時(shí)間intel發(fā)布的Project Alloy宣傳片的那樣，與環(huán)境發(fā)生真實(shí)交互。
本文由任福新于2016年8月，在WOT2016移動(dòng)互聯(lián)網(wǎng)技術(shù)峰會(huì)VR技術(shù)專場(chǎng)《電商新趨勢(shì)下的數(shù)據(jù)分析實(shí)踐與思考》主題演講整理而成。WOT2016大數(shù)據(jù)峰會(huì)將于2016年11月25-26日在北京粵財(cái)JW萬豪酒店召開，屆時(shí)，數(shù)十位大數(shù)據(jù)領(lǐng)域一線專家、數(shù)據(jù)技術(shù)先行者將齊聚現(xiàn)場(chǎng)，在圍繞機(jī)器學(xué)習(xí)、實(shí)時(shí)計(jì)算、系統(tǒng)架構(gòu)、NoSQL技術(shù)實(shí)踐等前沿技術(shù)話題展開深度交流和溝通探討的同時(shí)，分享大數(shù)據(jù)領(lǐng)域***實(shí)踐和最熱門的行業(yè)應(yīng)用。了解WOT2016大數(shù)據(jù)技術(shù)峰會(huì)更多信息，請(qǐng)登陸大會(huì)官網(wǎng)：http://wot./2016bigdata/
【原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為.com】
分享標(biāo)題：VR直播的挑戰(zhàn)和關(guān)鍵技術(shù)
轉(zhuǎn)載來于：http://www.5511xx.com/article/dhepgdh.html
