機(jī)器之心最新一期線上分享邀請到了新加坡國立大學(xué)博士侯皓文，現(xiàn) RWKV Foundation 成員，為大家分享他們團(tuán)隊(duì)的開源項(xiàng)目RWKV。

Transformer 已經(jīng)徹底改變了幾乎所有自然語言處理（NLP）任務(wù)，但其在序列長度上的內(nèi)存和計(jì)算復(fù)雜度呈二次方增長。相比之下，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）在內(nèi)存和計(jì)算需求上呈線性擴(kuò)展，但由于并行化和可擴(kuò)展性的限制，難以達(dá)到 Transformer 相同的性能。

【資料圖】

基于此，該研究團(tuán)隊(duì)提出了一種新穎的模型架構(gòu)，即 Receptance Weighted Key Value（RWKV），將 Transformer 的高效可并行訓(xùn)練與RNN的高效推理相結(jié)合。該方法利用了線性注意機(jī)制，并使得模型既可以作為 Transformer，也可以作為 RNN 來構(gòu)建，從而實(shí)現(xiàn)了在訓(xùn)練過程中的計(jì)算并行化，并在推理過程中保持恒定的計(jì)算和內(nèi)存復(fù)雜度，這使得它成為第一個(gè)可以擴(kuò)展到數(shù)百億參數(shù)的非 Transformer 架構(gòu)。

實(shí)驗(yàn)結(jié)果顯示，RWKV 的性能與大小相似的 Transformer 相當(dāng)，這表明未來的工作可以利用這種架構(gòu)創(chuàng)建更高效的模型。這項(xiàng)工作在平衡序列處理任務(wù)中的計(jì)算效率和模型性能之間的權(quán)衡方面邁出了重要的一步。

分享主題：新型RNN模型RWKV，結(jié)合Transformer的并行化訓(xùn)練優(yōu)勢和RNN的高效推理

分享嘉賓：2017 年畢業(yè)于新加坡國立大學(xué)，獲得博士學(xué)位。隨后，加入騰訊擔(dān)任應(yīng)用研究員，致力于搜索、自然語言處理和多模態(tài)領(lǐng)域的研究和實(shí)踐。目前，作為RWKV Foundation 的成員，繼續(xù)在相關(guān)領(lǐng)域進(jìn)行研究和貢獻(xiàn).

分享摘要：本次分享主要圍繞 RWKV 的論文進(jìn)行，介紹 RWKV 的核心理念和公式，展示 RWKV 并行化訓(xùn)練優(yōu)勢和高效推理。展示實(shí)驗(yàn)結(jié)果，證明了 RWKV 的性能與規(guī)模相近的 Transformer 相當(dāng)，也是首個(gè)效果接近 Transformer 的線性注意力模型。

關(guān)鍵詞：