在去年的北京站大會(huì)籌備過(guò)程當(dāng)中，我們?cè)?jīng)采訪過(guò)一些技術(shù)人員，有問(wèn)到這么一個(gè)問(wèn)題：“您認(rèn)為目前我們所處的‘后疫情時(shí)代’，音視頻技術(shù)領(lǐng)域的下一個(gè)風(fēng)口將會(huì)在哪里？”

最后大家的回答都不太一樣，這倒也的確是一個(gè)仁者見(jiàn)仁，智者見(jiàn)智的問(wèn)題。我們摘選了如下幾個(gè)回答：

• 未來(lái)的方向是基于硬件、算法、網(wǎng)絡(luò)等等這一系列性能的提升，讓實(shí)時(shí)音視頻的應(yīng)用場(chǎng)景變得更加貼近線下，延遲更低、沉浸度更高等等。
• 音視頻技術(shù)的需求還將會(huì)在直播、會(huì)議、電商、娛樂(lè)、協(xié)作方面繼續(xù)保持增長(zhǎng)。
• 當(dāng)前社會(huì)的發(fā)展依然面臨著很多的挑戰(zhàn)，比如碳中和問(wèn)題、人口的增長(zhǎng)放緩，以及在后疫情時(shí)代的經(jīng)濟(jì)發(fā)展和遠(yuǎn)程協(xié)同問(wèn)題。相信國(guó)家在未來(lái)很長(zhǎng)一段時(shí)間的注意力也會(huì)聚焦在這些問(wèn)題上。如果音視頻技術(shù)在以上某個(gè)方向上的應(yīng)用落地，能夠?qū)@些方向形成助力，那么會(huì)更容易地成為下一個(gè)階段的風(fēng)口。比如：音視頻通話對(duì)于留守兒童的關(guān)懷問(wèn)題；低延時(shí)視頻傳輸在新能源汽車上的遠(yuǎn)程操控能力；更加無(wú)縫嵌入到現(xiàn)有協(xié)同體系中的辦公協(xié)同應(yīng)用等等；新能源發(fā)電的遠(yuǎn)程監(jiān)控和遠(yuǎn)程排障方向等等。
• 音視頻領(lǐng)域的下個(gè)風(fēng)口應(yīng)該緊盯海外市場(chǎng)。因?yàn)楹Ｍ馐袌?chǎng)擁有不同的國(guó)家、宗教、文化，不會(huì)被某一家公司壟斷整個(gè)市場(chǎng)。

從上述回答不難看出，雖然大家對(duì)音視頻技術(shù)這條垂直賽道的未來(lái)關(guān)注點(diǎn)不同，但是對(duì)這個(gè)領(lǐng)域可持續(xù)發(fā)展的信心感是很強(qiáng)烈的。無(wú)論是從底層技術(shù)的不斷打磨提升，還是對(duì)技術(shù)應(yīng)用場(chǎng)景的穩(wěn)固與擴(kuò)展，亦或是另辟蹊徑，尋求海外商機(jī)，無(wú)疑都是將音視頻技術(shù)帶到更高更遠(yuǎn)的地方，在不同的行業(yè)中發(fā)光發(fā)熱。

4月15-16日LiveVideoStackCon 2022 音視頻技術(shù)大會(huì)上海站與你一起探討未來(lái)音視頻有哪些新玩法，沉浸式音頻、架構(gòu)演進(jìn)與云端創(chuàng)新、多媒體傳輸優(yōu)化、智能硬件與互聯(lián)、QoE保證、開源與創(chuàng)新場(chǎng)景，實(shí)現(xiàn)「音視頻 + 無(wú)限可能」。

日程海報(bào)首次發(fā)布，更多內(nèi)容請(qǐng)持續(xù)關(guān)注

演講劇透：

新一代車載音頻系統(tǒng)實(shí)踐

馬桂林?科大訊飛 智能汽車事業(yè)部副總經(jīng)理

科大訊飛杰出科學(xué)家

所屬專題：音視頻+

本次分享分為三個(gè)部分，首先是關(guān)于新一代音頻系統(tǒng)硬件介紹，尤其是硬件如何設(shè)計(jì)從而支撐新的場(chǎng)景需求。相比較于傳統(tǒng)的車內(nèi)音頻需求，新的場(chǎng)景需求邏輯更為復(fù)雜，對(duì)性能要求更高，這就要求硬件設(shè)計(jì)在計(jì)算性能、音頻性能、接口、功耗、時(shí)延、擴(kuò)展性等等方面都達(dá)到優(yōu)異的性能，從而支撐各種復(fù)雜和高階的軟件和算法。

第二部分介紹新一代車載音頻系統(tǒng)的核心算法以及這些算法如何服務(wù)于各種場(chǎng)景。音效算法是各種場(chǎng)景服務(wù)的核心。為了滿足豐富的應(yīng)用場(chǎng)景，我們的音頻系統(tǒng)包含了從基礎(chǔ)到高階的豐富算法，滿足用戶從安全駕駛、聲浪模擬到影音體驗(yàn)的各種需求。我們自主研發(fā)的高端算法經(jīng)過(guò)測(cè)試達(dá)到了優(yōu)異的性能。

第三部分介紹軟硬件如何與生態(tài)、場(chǎng)景、內(nèi)容等打通形成智能的場(chǎng)景化服務(wù)。軟硬件平臺(tái)做到了優(yōu)異的性能是場(chǎng)景化服務(wù)的前提，但不是全部。車載音頻體驗(yàn)需要與場(chǎng)景打通。有三種主要的場(chǎng)景構(gòu)建方式：第一種是基于單一功能或者環(huán)境的場(chǎng)景化服務(wù)，例如聲浪的模擬；第二種是端到端的場(chǎng)景化構(gòu)建，一端是內(nèi)容，一端是車載音頻管理系統(tǒng)；第三種是結(jié)合多模態(tài)交互的場(chǎng)景構(gòu)建，結(jié)合語(yǔ)音、視覺(jué)等多種方式構(gòu)建車載音頻場(chǎng)景化的服務(wù)。

總之，新一代的車載音頻系統(tǒng)要求突出的軟硬件能力和豐富的場(chǎng)景化、個(gè)性化設(shè)計(jì)，從而將用戶體驗(yàn)提升到一個(gè)新的維度。

Gstreamer中的視頻處理與硬件加速

何俊彥?英特爾 加速計(jì)算系統(tǒng)與圖形部工程師

所屬專題：開源與體驗(yàn)創(chuàng)新

Gstreamer作為一個(gè)比較流行的開源多媒體框架，其優(yōu)秀的架構(gòu)使其具有高度的模塊化和良好的擴(kuò)展性，并具有廣泛的應(yīng)用前景。從廣義上說(shuō)，不只是媒體流，Gstreamer可以擴(kuò)展并處理任何一種數(shù)據(jù)流。在AI時(shí)代，隨著例如DeepStream， DLStreamer等AI插件的推出, Gstreamer必將被越來(lái)越多的應(yīng)用于集編解碼、AI、渲染等于一體的綜合應(yīng)用場(chǎng)景中。

本次分享將有三個(gè)部分，首先將會(huì)討論Gstreamer基于Pipeline和插件的工作原理，以及其機(jī)制是如何保證在其各個(gè)插件具有良好獨(dú)立性的前提下，實(shí)現(xiàn)插件之間無(wú)縫的數(shù)據(jù)傳遞與協(xié)作，從而使得Pipeline的搭建即簡(jiǎn)單高效又靈活方便。

另外，本次分享將會(huì)介紹如何開發(fā)一個(gè)完整而又高效的Gstreamer插件，特別是基于GPU以及硬件加速的插件，以及在插件開發(fā)中的注意事項(xiàng)。

最后，隨著AI時(shí)代的到來(lái)，傳統(tǒng)的視頻處理過(guò)程會(huì)加入越來(lái)越多的AI處理。本次分享將介紹一些經(jīng)典的Gstreamer Pipeline實(shí)例以及當(dāng)下比較流行的AI應(yīng)用，同時(shí)討論Gstreamer的未來(lái)發(fā)展與前景。

Shopee音視頻處理中臺(tái)落地應(yīng)用

范志興?Shopee 視頻技術(shù)團(tuán)隊(duì)負(fù)責(zé)人

所屬專題：視頻編解碼性能優(yōu)化與體驗(yàn)

隨著Shopee電商業(yè)務(wù)在東南亞等市場(chǎng)迅速展開，視頻和電商結(jié)合的應(yīng)用迅速落地。比如feeds、rating流、買/賣家秀，直播帶貨，數(shù)字銀行開戶以及短視頻等。東南亞大部分地區(qū)都是欠發(fā)達(dá)地區(qū)，手機(jī)用戶大多使用的是國(guó)內(nèi)2010左右普及的千元機(jī)機(jī)型，這些手機(jī)在視頻編解碼、圖像處理方面的性能存在嚴(yán)重性能瓶頸，網(wǎng)絡(luò)質(zhì)量遠(yuǎn)不如國(guó)內(nèi)。在這樣的網(wǎng)絡(luò)條件下傳輸媒體數(shù)據(jù)談何容易。還有就是海量的視頻文件和直播視頻處理給Shopee后臺(tái)帶來(lái)了巨大的壓力。那么Shopee是如何通過(guò)技術(shù)手段來(lái)解決這一系列問(wèn)題的呢？

本次分享將從4個(gè)方面為大家解開謎團(tuán)。首先本次分享將會(huì)介紹落地了哪些應(yīng)用，如：Shopee直播帶貨、視頻通話在線開戶、feeds流，Shopee video、seditor和云導(dǎo)播等等。

第二部分將會(huì)介紹與視頻編碼優(yōu)化相關(guān)的工作，比如適應(yīng)低帶寬和抖動(dòng)網(wǎng)絡(luò)環(huán)境。這部分內(nèi)容將從高清低碼、RTC場(chǎng)景的SVC編碼、前置處理/編碼性能調(diào)優(yōu)，以及軟解碼快速精確seek等四個(gè)方面來(lái)展開。

第三部分將會(huì)重點(diǎn)介紹工程實(shí)現(xiàn)方面。首先是轉(zhuǎn)碼Pipeline實(shí)現(xiàn)，轉(zhuǎn)碼處理節(jié)點(diǎn)以region的方式組織，耗時(shí)短的節(jié)點(diǎn)，集成到同一個(gè)region， region內(nèi)部串行，region之間并行，保證最大的處理輸出幀率。其次是自研混流服務(wù)，在直播帶貨連麥過(guò)程中，RTC房間為單個(gè)用戶時(shí)轉(zhuǎn)發(fā)媒體數(shù)據(jù)，緩存last gop，當(dāng)有連麥者加入時(shí)無(wú)縫切換為混流模式。另外還有混流錄制，幀率對(duì)齊用戶端。

第四部分是有關(guān)落地計(jì)劃的介紹，如：手機(jī)端編解碼匯編優(yōu)化，以提高H.265的覆蓋率；支持更多渲染特效；AI圖像增強(qiáng)等計(jì)劃。

大眾點(diǎn)評(píng)客戶端視頻實(shí)時(shí)超分實(shí)踐

周文業(yè)?美團(tuán)點(diǎn)評(píng) 音視頻研發(fā)工程師

所屬專題：客戶端建設(shè)及調(diào)優(yōu)實(shí)踐

視頻超分端上部署具有省流、實(shí)時(shí)等優(yōu)勢(shì)。然而，隨著分辨率增加算力和存儲(chǔ)成本成倍提升，在不依賴硬件平臺(tái)優(yōu)化的前提下，如何突破移動(dòng)端算力限制、保持超分實(shí)時(shí)性、實(shí)現(xiàn)機(jī)型高覆蓋，并獲得明顯超分效果是大分辨率視頻端上實(shí)時(shí)超分落地必須面對(duì)的難點(diǎn)和挑戰(zhàn)。本次分享將從模型優(yōu)化、工程優(yōu)化、機(jī)型覆蓋、幀率保障等方面介紹大眾點(diǎn)評(píng)端上實(shí)時(shí)超分能力落地過(guò)程中所采用的解決方案和最佳實(shí)踐。

本次分享共分為4個(gè)部分，首先介紹端上超分推理如何處理實(shí)時(shí)性、超分效果和視頻分辨率的關(guān)系。涉及超分推理延遲優(yōu)化、推理實(shí)時(shí)性的判定和超分效果評(píng)價(jià)，以及如何在滿足實(shí)時(shí)性和超分效果的前提下不斷提升目標(biāo)視頻分辨率。

第二部分將會(huì)介紹超分模型如何落地到視頻播放的業(yè)務(wù)場(chǎng)景，包括超分架構(gòu)設(shè)計(jì)、視頻超分播放流水線設(shè)計(jì)和超分監(jiān)控設(shè)計(jì)。
另外，端上超分落地對(duì)實(shí)時(shí)性有很高的要求，而超分過(guò)程涉及到很多耗時(shí)任務(wù)，本次分享將介紹如何從流程簡(jiǎn)化和過(guò)程加速角度進(jìn)行實(shí)時(shí)性優(yōu)化。

第四部分是通過(guò)端上超分推理需要考慮到的機(jī)型、分辨率和幀率等因素，將介紹如何通過(guò)超分規(guī)則控制資源分配、機(jī)型覆蓋。

以上僅為大會(huì)部分演講話題的提前劇透，更多精彩內(nèi)容將在4月15-16日上海站大會(huì)進(jìn)行分享~ 歡迎大家蒞臨LiveVideoStackCon 2022 音視頻技術(shù)大會(huì) 上海站，期待與你相遇在春暖花開的日子里。

點(diǎn)擊原文鏈接立即報(bào)名，可享九折優(yōu)惠哦~