2021年5月15日，融云X-Meetup技術(shù)沙龍第三站續(xù)航上海。本場(chǎng)沙龍聚焦“音視頻技術(shù)新方向”，由融云音視頻研發(fā)高級(jí)工程師姜春雨、時(shí)光機(jī)器人創(chuàng)始人兼CEO徐晶、融云IM研發(fā)中心高級(jí)工程師劉佳、學(xué)而思網(wǎng)校架構(gòu)師李亞龍，和資深音視頻技術(shù)專家栗偉，五位技術(shù)大咖出任演講嘉賓，他們以時(shí)下熱門應(yīng)用場(chǎng)景為視角，從技術(shù)實(shí)踐出發(fā)，與開發(fā)者們交流分享了關(guān)于音視頻技術(shù)的新觀察。
iOS 上的音頻開發(fā)
今年，由于Clubhouse和Tiya的示范效應(yīng)，語(yǔ)聊房產(chǎn)品大火，音頻的開發(fā)技術(shù)備受開發(fā)者的關(guān)注。來(lái)自融云的音視頻研發(fā)高級(jí)工程師姜春雨,多年專注于移動(dòng)端和音視頻領(lǐng)域的技術(shù)研發(fā)，他分享了《iOS 音頻設(shè)備開發(fā) - Core Audio》的主題內(nèi)容。
融云音視頻研發(fā)高級(jí)工程師姜春雨發(fā)表演講
姜春雨認(rèn)為：移動(dòng)端音頻處理的難點(diǎn)在于聲音美化、變聲、實(shí)時(shí)高音質(zhì)和場(chǎng)景玩法多樣化。單從iOS設(shè)備來(lái)說(shuō)，要突破這些難點(diǎn)，離不開iOS所提供的Audio Unit，它是一項(xiàng)強(qiáng)大靈活的音頻處理技術(shù)，支持混合、均衡、格式轉(zhuǎn)換和實(shí)時(shí)輸入/輸出，用于錄制、播放、離線渲染和實(shí)時(shí)對(duì)話。
融云SDK以Audio Unit為基礎(chǔ)，構(gòu)建了長(zhǎng)音效、短音效等多個(gè)功能模塊，最終在音頻設(shè)備上完成混音輸出。在場(chǎng)景化實(shí)踐中，姜春雨以音樂(lè)語(yǔ)聊房和百人超大會(huì)議室兩個(gè)典型場(chǎng)景為例，分享了融云SDK的技術(shù)開發(fā)優(yōu)化方案。比如，音樂(lè)語(yǔ)聊房注重高音質(zhì)、美聲變聲，以舒適噪音為好，開發(fā)者要根據(jù)這些需求進(jìn)行算法調(diào)優(yōu);而超大會(huì)議室的優(yōu)化則要求做到服務(wù)端智能發(fā)流、多人聲音同時(shí)出現(xiàn)可以智能選擇會(huì)議發(fā)言人的聲音。
姜春雨總結(jié)道：Audio Unit是一個(gè)強(qiáng)大的音頻處理框架，音頻處理要基于Audio Unit框架構(gòu)建內(nèi)容，并且要在音頻處理內(nèi)容上不斷打磨優(yōu)化。未來(lái)，融云音視頻SDK還將不斷基于不同場(chǎng)景需要開發(fā)新的功能，持續(xù)優(yōu)化音頻產(chǎn)品，為開發(fā)者提供更好的解決方案。
構(gòu)建低延遲高可靠的信令系統(tǒng)
融云作為互聯(lián)網(wǎng)通信云賽道的領(lǐng)先廠商，2020年在業(yè)界率先提出“IM+RTC+PUSH”的整體通信解決方案。融云RTC喚起用戶的通道就是依賴于IM的SDK信令，因此，本次融云的IM研發(fā)中心高級(jí)工程師劉佳，分享了《構(gòu)建低延遲高可靠信令系統(tǒng)的探索與實(shí)踐》，幫助開發(fā)者更好地了解融云IM如何協(xié)同RTC，提供高可靠的通信能力。
融云IM研發(fā)中心高級(jí)工程師劉佳
劉佳介紹，高可靠音視頻信令系統(tǒng)的構(gòu)建在IM信令系統(tǒng)設(shè)計(jì)時(shí)，首先要進(jìn)行服務(wù)分層，包括接入層、內(nèi)部服務(wù)和數(shù)據(jù)存儲(chǔ)的分層。而拆分原則要根據(jù)業(yè)務(wù)差異和服務(wù)對(duì)象的不同，拆分為API和 CMP，整體做到可監(jiān)控、可維護(hù)。其次，是要搭建完整的監(jiān)控體系，通過(guò)可視化的圖表，監(jiān)看網(wǎng)絡(luò)的性能情況，及時(shí)處理系統(tǒng)瓶頸。
對(duì)于低延遲信令系統(tǒng)的實(shí)現(xiàn)，劉佳分享道，融云不僅利用全球加速網(wǎng)絡(luò),降低網(wǎng)絡(luò)延遲，還基于融云自有通訊協(xié)議降低數(shù)據(jù)傳輸量，利用緩存機(jī)制,提高了服務(wù)的業(yè)務(wù)處理速度。并且，劉佳以緩存設(shè)計(jì)為例，說(shuō)明通過(guò)一致性hash提高緩存命中率、高效利用CPU的處理能力、實(shí)施異步存儲(chǔ)等，也都是實(shí)現(xiàn)低延遲系統(tǒng)設(shè)計(jì)的要旨。
基于這些設(shè)計(jì)要點(diǎn)，劉佳展示了海量并發(fā)用戶場(chǎng)景下的語(yǔ)聊房系統(tǒng)架構(gòu)，為開發(fā)者提供了干貨解決方案。同時(shí)，他還總結(jié)出融云現(xiàn)有的音視頻整體服務(wù)架構(gòu)的三大優(yōu)勢(shì)：第一，信令服務(wù)與媒體服務(wù)解藕,兩個(gè)服務(wù)之間也不需要狀態(tài)同步;第二，媒體服務(wù)專注通信,信令服務(wù)專注能力;第三，部署簡(jiǎn)單,方便進(jìn)行全球部署媒體服務(wù)。
直播系統(tǒng)架構(gòu)設(shè)計(jì) 滿足用戶對(duì)實(shí)時(shí)性的需求
本場(chǎng)沙龍中，音視頻直播場(chǎng)景也是一個(gè)重點(diǎn)話題。深耕互聯(lián)網(wǎng)音視頻12年，在直播領(lǐng)域積累了豐富實(shí)戰(zhàn)經(jīng)驗(yàn)的拾光機(jī)器人公司創(chuàng)始人兼 CEO徐晶，通過(guò)他的《互聯(lián)網(wǎng)直播快速實(shí)戰(zhàn)》，分享了基于直播答題場(chǎng)景的架構(gòu)設(shè)計(jì)，尤其是幾個(gè)關(guān)鍵技術(shù)點(diǎn)和應(yīng)對(duì)策略，以及如何保證直播中的視頻和音頻質(zhì)量，都做出了詳細(xì)的講解。
沙龍中，專注于在線教育的學(xué)而思網(wǎng)校架構(gòu)師李亞龍，還針對(duì)教育低延時(shí)大班的直播場(chǎng)景，為開發(fā)者帶來(lái)了關(guān)于《在線教育直播系統(tǒng)架構(gòu)升級(jí)》的分享。他著重從網(wǎng)校視頻技術(shù)的發(fā)展、網(wǎng)校大班直播系統(tǒng)、網(wǎng)校公益直播課、低延遲直播探索這四個(gè)方面的設(shè)計(jì)要點(diǎn)，進(jìn)行了分析講解。對(duì)于專注在線教育的開發(fā)者而言，具有普遍的示范意義。
此外，資深音視頻技術(shù)專家的栗偉，發(fā)表了《使用WebRTC構(gòu)建實(shí)時(shí)在線課堂》的演講。栗偉曾任職于中科院計(jì)算所、CC視頻，任職期間利用WebRTC技術(shù)開發(fā)了直播、在線課堂、視頻會(huì)議等商業(yè)產(chǎn)品，并發(fā)用戶數(shù)達(dá)到500萬(wàn)。他還曾主筆撰寫了 《WebRTC技術(shù)詳解：從0到1構(gòu)建多人視頻會(huì)議系統(tǒng)》，在該領(lǐng)域有多年實(shí)踐經(jīng)驗(yàn)，對(duì)WebRTC有非常深入的研究，他的實(shí)踐分享也讓開發(fā)者們獲益匪淺。
結(jié)語(yǔ)
在本次沙龍中，五位講師的分享，其共性特點(diǎn)在于：他們都基于當(dāng)下所關(guān)注熱門場(chǎng)景展開話題。由此可見，應(yīng)用場(chǎng)景才是“探討音視頻技術(shù)新方向”的基礎(chǔ)，而越熱門的場(chǎng)景往往越是代表著這個(gè)領(lǐng)域的發(fā)展?jié)摿Ω螅虼艘簿驮叫枰ㄟ^(guò)新技術(shù)、新產(chǎn)品加以承載。
隨著5G的進(jìn)一步落地，網(wǎng)絡(luò)帶寬、網(wǎng)絡(luò)質(zhì)量的不斷優(yōu)化，音視頻通信無(wú)論在使用量級(jí)上，還是使用場(chǎng)景上，都會(huì)出現(xiàn)更多可能。對(duì)于開發(fā)者而言，只有及早儲(chǔ)備，盡可能多地掌握新技術(shù)，關(guān)注新方向，才能贏在當(dāng)下，贏在未來(lái)。
