允中 整理自 火山引擎

量子位 | 公眾號 QbitAI

去年7月，外界曾有字節(jié)造芯傳聞，字節(jié)跳動副總裁楊震原在媒體采訪中回應(yīng)稱，公司無通用芯片商業(yè)計劃，沒有涉足CPU、GPU等通用芯片業(yè)務(wù)。

【資料圖】

自研芯片探索主要圍繞自身視頻推薦業(yè)務(wù)展開，研發(fā)團(tuán)隊將為字節(jié)跳動大規(guī)模視頻推薦服務(wù)專用場景定制硬件優(yōu)化，如視頻編解碼、云端推理加速等，以期提升性能，降低成本。

8月22日的一場活動中，字節(jié)跳動旗下火山引擎首次公開發(fā)布了自研的視頻編解碼芯片。

據(jù)字節(jié)跳動視頻架構(gòu)負(fù)責(zé)人、火山引擎視頻云架構(gòu)技術(shù)總監(jiān)王悅介紹，這款專用芯片已出片。

經(jīng)驗證，該芯片的視頻壓縮效率相比行業(yè)主流硬件編碼器可提升30%以上，未來將服務(wù)于抖音、西瓜視頻等視頻業(yè)務(wù)，并通過火山引擎視頻云開放給企業(yè)客戶。

以下為王悅演講全文：

大家好，我是字節(jié)跳動視頻架構(gòu)負(fù)責(zé)人王悅，今天主要與大家分享：面對全行業(yè)視頻化時代的技術(shù)挑戰(zhàn)，火山引擎視頻云是如何在算力、體驗和交互層面進(jìn)行探索的。

首先，視頻化應(yīng)用在全行業(yè)不斷深入滲透，視頻數(shù)據(jù)也在持續(xù)激增，視頻技術(shù)和應(yīng)用在未來主要面臨哪些大的挑戰(zhàn)呢？我們認(rèn)為，有三個邊界需要突破：

第一個邊界是算力邊界，視頻數(shù)據(jù)不僅體量在激增，分辨率和清晰度也在持續(xù)提升，而且，視頻壓縮和處理的算法在不斷的更新迭代，越來越復(fù)雜，因此視頻轉(zhuǎn)碼和處理的算力需要能夠跟得上。但同時，摩爾定律在持續(xù)變慢，如何為企業(yè)提供算力強、算力足且夠便宜的計算基建，是當(dāng)前視頻行業(yè)面臨的最大挑戰(zhàn)；

第二個是體驗邊界，用戶會持續(xù)追求極致體驗，希望視頻更清晰、更流暢。那到底多清晰才是終點呢？隨著越來越多的內(nèi)容被AIGC技術(shù)所生成或加工，對這類內(nèi)容質(zhì)量的定義和評判標(biāo)準(zhǔn)，以及處理的算法和流程，可能都要跳出現(xiàn)有的基于信噪比的理論框架，重新探索體驗的邊界在哪里；

第三個是交互邊界，近幾年沉浸式媒體方向在持續(xù)加溫，視頻的觀看體驗在逐步從二維畫面延伸到三維空間，給予交互更多的自由度。虛擬世界與現(xiàn)實世界將無限融合。今年蘋果發(fā)布了vision pro，帶給了大家一些新的憧憬，也許已近百年的二維畫面的呈現(xiàn)與交互邊界很快將被突破。

下面我們看一下，火山引擎視頻云做了哪些探索和實踐，以突破這三個邊界。

首先，應(yīng)對算力挑戰(zhàn)，火山引擎視頻云基于抖音的大規(guī)模應(yīng)用實踐和打磨，實現(xiàn)了從通用計算到異構(gòu)計算的進(jìn)階，沉淀了可以為不同視頻場景提供專用且適用的算力支持，不斷朝著更強大、更好用、更便宜的方向前行：在我們的異構(gòu)計算集群中，除了先前主流的x86機器，還有GPU、ASIC、FPGA、ARM板卡陣列等幾種不同的計算資源。

對于深度學(xué)習(xí)、并行計算、高性能渲染，我們會用GPU做算力支撐，主要應(yīng)用在視頻畫質(zhì)檢測與分析、質(zhì)量增強處理、XR云端渲染等場景。

ASIC算力是我們重點規(guī)劃的研發(fā)方向，今天，我們也正式推出火山引擎自研視頻編解碼芯片。這款芯片有幾個數(shù)據(jù)還是值得興奮的：

一臺視頻編解碼芯片服務(wù)器的轉(zhuǎn)碼能力，相當(dāng)于百臺CPU服務(wù)器的算力；同時火山引擎自研視頻編碼芯片的壓縮效率也相當(dāng)優(yōu)秀，比行業(yè)主流硬件編碼器提升30%以上；從而，可以讓單個視頻的計算、存儲和傳輸?shù)倪呺H成本達(dá)到平衡。

大家知道在（視頻）芯片這個領(lǐng)域，一定要達(dá)到一定的規(guī)模門檻，累加的邊際收益才能夠cover前期投入的沉沒成本，實現(xiàn)正向的ROI。正是因為抖音等產(chǎn)品的業(yè)務(wù)規(guī)模，為我們供給了一個十分寬廣的獲得杠桿收益空間，使我們可以在這個方向持續(xù)投入頂尖研發(fā)團(tuán)隊，不斷迭代和進(jìn)化，最終實現(xiàn)更高密度、更好壓縮性能和更極致降本。

我們還支持FPGA算力，它是一種比較折衷的算力資源。相比ASIC，F(xiàn)PGA的密度、吞吐雖然差一些，但它的主要優(yōu)勢是可擦寫、更靈活，能夠完成漸進(jìn)迭代，也為我們的ASIC方案提供了先行驗證?；鹕揭嬉曨l云現(xiàn)在的圖片和動圖轉(zhuǎn)碼服務(wù)都是跑在FPGA上的。部分點播、直播服務(wù)里也在使用FPGA，該編碼器整體編碼性能比行業(yè)標(biāo)準(zhǔn)編碼器(GPU)提升30%，在MSU賽事中多次蟬聯(lián)最佳4K FPGA編碼器稱號。

此外，火山引擎視頻云還有ARM板卡陣列，這個方案本來是用來支持云游戲、云手機等場景需求而研發(fā)的。我們把編轉(zhuǎn)碼和處理引擎在ARM指令集上深度集成和優(yōu)化之后，經(jīng)過大規(guī)模實測，發(fā)現(xiàn)這種算力資源在密度、成本方面相較x86服務(wù)器也有很大優(yōu)勢。因此，我們也在點播場景里不斷提升這種資源的使用量，并做到了與云游戲等場景的并池降本。我們這個方案也在不斷地迭代與演進(jìn)，相信對于視頻應(yīng)用的智能升級也將發(fā)揮重要的作用。

在突破體驗邊界方面，隨著大模型等AI技術(shù)的發(fā)展和賦能，我們也確實看到了很多有說服力的成果和樂觀的前景，比如「AI修復(fù) 」技術(shù)。上周，抖音、中國電影資料館、火山引擎發(fā)布了“再續(xù)時光-經(jīng)典香港電影修復(fù)計劃”， 我們首次將AIGC視覺大模型應(yīng)用于老片修復(fù)場景。充分利用AIGC大模型強大的生成能力和豐富的先驗知識，對經(jīng)典老片進(jìn)行全面的畫質(zhì)提升。

火山引擎視頻云的很多產(chǎn)品能力都有AI技術(shù)的加持，例如「智能轉(zhuǎn)檔」使用了AI重采樣方案，滿足了高質(zhì)量多碼率分發(fā)需求，支持直播、點播多檔位畫質(zhì)提升；「極致超清」是基于人眼的主觀感受最優(yōu)為基準(zhǔn)的AI前處理方案，該方案不僅可以提升主觀畫質(zhì)，還可以進(jìn)一步實現(xiàn)整體帶寬降低15-35%。

再看看我們在突破交互邊界方面的一些進(jìn)展和成果。在3D和全景技術(shù)方面，火山引擎視頻云基于在PICO上的實踐和探索，沉淀了很多優(yōu)質(zhì)的能力。比如，我們的「VR 360°全景圖像」技術(shù)，在今年CVPR Workshop舉辦的一項比賽中，雙目超分雙三次插值保真賽道和360°全景圖像超分賽道上，榮獲了雙料冠軍，技術(shù)能力達(dá)到行業(yè)領(lǐng)先水平。

從二維到空間，從理論到實踐，火山引擎視頻云落地了很多創(chuàng)新項目，努力為用戶打造身臨其境的體驗。結(jié)合傳統(tǒng)三維重建及神經(jīng)輻射場技術(shù)，我們搭建了一套用于實現(xiàn)復(fù)雜動態(tài)場景的采集、重建、和播放算法框架，具備很高的清晰度和真實感。這項技術(shù)融合在點播、直播及RTC等視頻云技術(shù)產(chǎn)品中，便可以實現(xiàn)空間視頻的點播、直播和實時通信，已經(jīng)落地于「抖音嘉年華」「抖音戲腔戲調(diào)」「PICO古籍尋游記」等項目里，相關(guān)成果發(fā)表在今年的Siggraph上。

另外火山引擎多媒體實驗室自研的三維重建技術(shù)，結(jié)合視覺重建、多模態(tài)重建及SDF技術(shù)，可實現(xiàn)高精度、高質(zhì)量、高效率的自動化重建技術(shù)，用于高保真物品及空間重建，也已經(jīng)應(yīng)用在博物館文物重建、電商3D商品、懂車帝3D看車、幸福里VR看房，PICO德爺看非洲等項目中 。

當(dāng)技術(shù)面臨瓶頸，也許我們可以換一種姿勢奔跑，持續(xù)突破算力，體驗和交互的邊界。我們希望基于抖音大規(guī)模實踐和打磨，將沉淀下的火種貢獻(xiàn)給行業(yè)。

通過上面的技術(shù)分享，我們可以看到全行業(yè)視頻化時代，技術(shù)是紛繁復(fù)雜的，而在這個過程中作為“引擎”的視頻處理框架作用就越來越重要，同時也面臨著諸多挑戰(zhàn)。

接下來我會介紹火山引擎視頻云在這一領(lǐng)域所做的探索實踐，同時把我們聯(lián)合NVIDIA開源的多媒體處理框架BMF（Babit Multi-Media Framework）介紹給大家，這也是國內(nèi)首個開源的同類項目，希望對整個行業(yè)起到普惠作用，助力加速視頻化新進(jìn)程。

△NVIDIA開發(fā)與技術(shù)部門亞太區(qū)總經(jīng)理李曦鵬（左）和火山引擎視頻云架構(gòu)技術(shù)總監(jiān)王悅（右）共同宣布開源BMF多媒體處理框架

在實際算法和工程化落地的過程中，很少有項目可以完全不采用多媒體處理框架。多媒體處理框架作為視頻化部署的“底座”，通常起到重要的支撐作用。在體驗需求更高、快速試錯創(chuàng)新和業(yè)務(wù)場景融合的新趨勢下，面對的場景和需求越來越多樣化和復(fù)雜化，同時對計算性能和異構(gòu)計算資源的運用也提出了更多的要求，快節(jié)奏的創(chuàng)新速度也迫切的期望框架有強大的能力，能幫助開發(fā)者把各種能力和方案優(yōu)勢互補、協(xié)同工作、快速落地。傳統(tǒng)框架不能很好地應(yīng)對這些挑戰(zhàn)，下一代多媒體處理框架應(yīng)運而生。

我們開源的這套多媒體處理框架，作為火山引擎視頻云全鏈路服務(wù)能力的基礎(chǔ)“底座”，不斷地根據(jù)集團(tuán)各個業(yè)務(wù)和產(chǎn)品的需求進(jìn)行設(shè)計、規(guī)劃、迭代和線上打磨，經(jīng)歷了約3～4年的實踐，目前已應(yīng)用于點/直播轉(zhuǎn)碼、云編輯、移動端后處理等主要業(yè)務(wù)場景?？偨Y(jié)下來，相比傳統(tǒng)方案，BMF具有以下亮點：

首先，它能支持使用多種語言開發(fā)模塊，并能通過引擎無縫串聯(lián)在一個pipeline里執(zhí)行，還能通過插件化動態(tài)管理，提升開發(fā)效率；其次，它能實現(xiàn)調(diào)度引擎深度優(yōu)化，在提升靈活性的同時做到效率無損，對于異構(gòu)平臺的支持相比傳統(tǒng)框架有較大優(yōu)勢。它還可以支持多語言接口，對于不同語言的開發(fā)者非常友好，更容易上手，開源版本還提供了豐富示例，覆蓋主要視頻場景，使開發(fā)者可以低成本構(gòu)建視頻應(yīng)用。同時，它還完全兼容了ffmpeg的功能和標(biāo)準(zhǔn)，底層支持了多種框架間的數(shù)據(jù)高效互轉(zhuǎn)。

接下來我們具體看下BMF的整體架構(gòu)，它分為應(yīng)用層，框架層，模塊層，和硬件抽象層。在應(yīng)用層，BMF可以對從生產(chǎn)到消費的全鏈路視頻場景進(jìn)行支持，特別是它也會支持大量視頻AI的應(yīng)用場景，并在架構(gòu)層自研了“自驅(qū)調(diào)度”和“動態(tài)graph”引擎，適配不同場景的多種執(zhí)行模式。

在模塊層，BMF在設(shè)計之初就采用了“松耦合”設(shè)計，目前已積累了140+個適用于視頻場景的原子能力模塊。在硬件抽象層，BMF對多種主流框架的數(shù)據(jù)實現(xiàn)了無縫轉(zhuǎn)換，使多種主流框架數(shù)據(jù)互轉(zhuǎn)和協(xié)同工作變的更加順暢和便捷。這里值得特別強調(diào)的是，我們和NVIDIA進(jìn)行了緊密的合作，針對GPU相關(guān)的框架層能力、處理能力進(jìn)行了深度優(yōu)化。

借此機會，我也特別分享給大家，BMF目前已經(jīng)全面開源。包含BMF框架層整體開源，9個開箱即用案例，和20+API調(diào)用范例，希望能幫助開發(fā)者低成本的構(gòu)建視頻應(yīng)用。開源以后，我們計劃持續(xù)開源更多核心能力，完善解決方案，包括支持更多異構(gòu)硬件/更多原子能力/移動端支持等。同時，依托火山引擎，構(gòu)建云上模塊市場，加速視頻生態(tài)建設(shè)。

最后，希望我們的愿景早日達(dá)成：面向各行各業(yè)，加速視頻化進(jìn)程，共建視頻開發(fā)生態(tài)。

*本文系量子位獲授權(quán)刊載，觀點僅為作者所有。

— 完—

量子位 QbitAI

?"?" ? 追蹤AI技術(shù)和產(chǎn)品新動態(tài)

一鍵三連「分享」、「點贊」和「在看」

科技前沿進(jìn)展日日相見 ~

責(zé)任編輯：

關(guān)鍵詞：