作者 | 虞景霖

編輯 | 鄧詠儀 尚恩

(資料圖片)

《創(chuàng)世紀(jì)》中有這樣一個(gè)故事，傳說在千百年前，地球上所有的人都使用一種語言，有一天他們決定建造一座高塔直通天際，遠(yuǎn)離洪水的侵?jǐn)_。

這座高塔叫做巴別塔。

很不幸，這件事被神知道了，他們害怕人類因?yàn)榘蛣e塔的成功建造而感到驕傲和傲慢，因此決定對人類進(jìn)行干擾。

于是神打亂了人類的語言，導(dǎo)致人們無法理解對方在說什么。不出神的意料，由于語言不通，人類產(chǎn)生了混亂和分歧，不得不放棄建造巴別塔的計(jì)劃，四散到了世界各地。

來源：pixabay

而如今，在AI的幫助下，使用不同語言的人可以直接進(jìn)行交流，重建巴比塔成為可能！

來源：公開網(wǎng)絡(luò)

這就是Meta發(fā)布的AI大模型：SeamlessM4T。一款能夠轉(zhuǎn)錄和翻譯近100種語言的一體化翻譯器，目前已在官網(wǎng)免費(fèi)開放使用。

來源：Meta AI推特

官網(wǎng)體驗(yàn)鏈接：https://seamless.metademolab.com/

消息一出，就引起了網(wǎng)友的廣泛關(guān)注，甚至有網(wǎng)友把SeamlessM4T戲稱為是“萬寶路”創(chuàng)造癌癥治療法。

來源：Jason Ferrell推特

還有網(wǎng)友表示距離《星際迷航》中的萬能翻譯器又近了一步。

來源：kache(yacine)(e/boy)推特

嗯…..怎么不算呢？

來源：公開網(wǎng)絡(luò)

但也不是一致好評，有網(wǎng)友就表示SeamlessM4T的表現(xiàn)差強(qiáng)人意，直言：“幾乎每次都完全錯(cuò)誤”。

來源：minos推特

100種語言直接翻譯，文本語音一條龍

不同于僅支持文本轉(zhuǎn)文本的傳統(tǒng)翻譯器，SeamlessM4T功能眾多，具體來說：

能夠?qū)?6種語言進(jìn)行語音識別

支持近100種輸入和輸出語言的語音到文本翻譯

支持近100種輸入語言和36種輸出語言的語音到語音翻譯

支持近100種語言的文本到文本翻譯

支持近100種輸入語言和35種輸出語言的文本到語音翻譯

來源：Meta AI官網(wǎng)

據(jù)官方說明，SeamlessM4T可以分為兩個(gè)部分，編碼器和解碼器。

編碼器能夠識別近100種語言的語音輸入，再由解碼器將其轉(zhuǎn)化成近100種文本語言或35種（包含英語）語音語言。經(jīng)過訓(xùn)練的編碼器，能夠自動(dòng)識別輸入語音中和人類語音對應(yīng)的音頻信號，并將其分解為一系列語音段，最后通過匹配器將這些語音段對應(yīng)到單詞中。

而文本的識別，則基于NLLB模型的文本編碼器，經(jīng)過訓(xùn)練后能理解100種語言的文本內(nèi)容?；谧R別的內(nèi)容，解碼器就可以進(jìn)行語音和文本的輸出。

編碼器和解碼器實(shí)現(xiàn)機(jī)制

簡單來說，就是把文本或者語音扔給編碼器，讓它在內(nèi)部進(jìn)行一系列解析、分割和轉(zhuǎn)換等操作，再把這些處理好的信息丟給解碼器，解碼器把他們合成對應(yīng)語言的文本或者語音。

來源：Meta AI官網(wǎng)

說話間，已經(jīng)有網(wǎng)友等不及上手玩了起來。

左邊這位網(wǎng)友用福建話自我介紹的一瞬間，AI就立即將語句轉(zhuǎn)換為英文，后面即使是“一整段福建話”，SeamlessM4T也應(yīng)對自如。

來源：Meta

對此就有不少網(wǎng)友開始腦補(bǔ)，有了SeamlessM4T，以后上網(wǎng)組隊(duì)玩游戲，管你講啥語言，AI統(tǒng)統(tǒng)都拿下！

來源：Eder Teixeira Eder Teixeira推特

目前，Meta并非唯一一個(gè)投入資源用于開發(fā)AI轉(zhuǎn)錄和翻譯的公司。

去年9月，OpenAI就開源了Whisper自動(dòng)語音識別系統(tǒng)，還強(qiáng)調(diào)Whisper的語音識別能力已經(jīng)達(dá)到了人類水準(zhǔn)。

而更早之前，互聯(lián)網(wǎng)鼻祖Netscape旗下的Mozilla基金會，也在2017年推出了公共數(shù)據(jù)庫Common Voice，這是用于訓(xùn)練自動(dòng)語音識別算法的最大的多語言語音庫之一。

在訓(xùn)練數(shù)據(jù)層面，SeamlessM4T的訓(xùn)練數(shù)據(jù)似乎沒有Whisper那么龐大。OpenAI聲稱Whisper使用了68萬個(gè)小時(shí)的訓(xùn)練數(shù)據(jù)，而SeamlessM4T的訓(xùn)練數(shù)據(jù)約為44萬個(gè)小時(shí)。

那么，Meta的SeamlessM4T強(qiáng)在哪？

來源：公開網(wǎng)絡(luò)

首先，SeamlessM4T實(shí)現(xiàn)了語音和語音之間的直接轉(zhuǎn)換，免除了中間的文本轉(zhuǎn)錄過程，能夠更好地保留語音特征。

而其他語音轉(zhuǎn)錄軟件，如Whisper，由于接受了大量的噪音數(shù)據(jù)的訓(xùn)練，轉(zhuǎn)錄的文本中包含實(shí)際沒說的單詞的可能性更高，當(dāng)語音中包含多種語言的時(shí)候，Whisper的轉(zhuǎn)錄效果似乎并不那么令人滿意。

SeamlessM4T則在這個(gè)方面進(jìn)行了改進(jìn)，大大增強(qiáng)了模型處理背景雜音和多語言語音的能力。

免費(fèi)開源，包括核心數(shù)據(jù)集

目前，Meta將以研究許可證的形式向公眾免費(fèi)提供該模型（僅限非商業(yè)用途），以便研究人員和開發(fā)人員在此基礎(chǔ)上進(jìn)一步研究。

來源：公開網(wǎng)絡(luò)

更重要的是，Meta還將發(fā)布SeamlessM4T的關(guān)鍵訓(xùn)練數(shù)據(jù)集之一SeamlessAlign。

這個(gè)數(shù)據(jù)集通過語音識別和文本挖掘技術(shù)，從公開渠道抓取并對齊了大量語音和文本數(shù)據(jù)，覆蓋了37種語言，包含了超過44萬小時(shí)的語音和文本數(shù)據(jù)，是迄今為止用于多模式翻譯的最大的公開數(shù)據(jù)集。

另外，在測試中團(tuán)隊(duì)發(fā)現(xiàn)，SeamlessM4T的魯棒性也灰常不錯(cuò)！

與此同時(shí)，Meta還專門做了研究表示，相較于當(dāng)前最先進(jìn)的模型，SeamlessM4T在語音轉(zhuǎn)文本任務(wù)中處理背景音和變化的語音的能力更強(qiáng)（平均水平分別提高了37%和48%）。

SeamlessM4T魯棒性測試結(jié)果

但和其他眾多的AI模型一樣，SeamlessM4T也并不是完美的存在，仍然存在多種形式的偏見和誤差。

當(dāng)輸入中性詞語時(shí)，輸出的結(jié)果偏“男性”。例如，在不明確性別的時(shí)候，SeamlessM4T大約有10%的概率傾向?qū)⑿詣e表示為男性。Meta推測，這可能是由于訓(xùn)練數(shù)據(jù)的“男性”傾向更加明顯。

除了性別輸出偏好，SeamlessM4T還有一些其他的問題。

例如在孟加拉語和吉爾吉斯語等一些語言中，SeamlessM4T對社會經(jīng)濟(jì)地位和文化進(jìn)行了惡意翻譯，這類情況在涉及性取向和宗教的翻譯中更加嚴(yán)重。而這一點(diǎn)也得到了網(wǎng)友的驗(yàn)證，并表示對此現(xiàn)象的出現(xiàn)十分失望。

來源：Cuenta Libra推特

但是，Meta聲稱，SeamlessM4T的公開版本中包含了惡意評論的過濾器，能夠阻止惡意言論的輸入和輸出。

但實(shí)際情況確是，在模型的開源版本中，默認(rèn)情況下并沒有這個(gè)過濾器。也正是由于這個(gè)原因，Meta不建議將SeamlessM4T用于過長文本和嚴(yán)肅內(nèi)容轉(zhuǎn)錄翻譯。

SeamlessM4T可謂Meta多年來在翻譯器開發(fā)領(lǐng)域的集大成者。去年，Meta發(fā)布了一個(gè)能夠支持200種語言的文本轉(zhuǎn)文本翻譯模型NLLB（No Language Left Behind），還推出了第一個(gè)針對閩南語的語音轉(zhuǎn)語音翻譯器。

今年5月，Meta推出了一個(gè)多模語言翻譯器，能夠識別并合成1100多種語言的語音。SeamlessM4T綜合了上述所有項(xiàng)目的研究成果。

未來，Meta希望基于SeamlessM4T在翻譯器開發(fā)領(lǐng)域進(jìn)一步探索，最終創(chuàng)造一個(gè)沒有語言障礙的世界。

關(guān)鍵詞：