內(nèi)容摘要：隨著ChatGPT的出現(xiàn)和使用，許多語言模型已經(jīng)展示了更多新的功能。但是隨之而來的是社會和政治影響，大量互聯(lián)網(wǎng)用戶獲得便利性的同時(shí)，被惡意行為者濫用也使得人工智能的監(jiān)管問題日益嚴(yán)峻。另外，各國語言開發(fā)和創(chuàng)新能力發(fā)展不一，語言模型被置于國家技術(shù)競爭的中心位置，以中美為代表的技術(shù)競爭已經(jīng)成為國際社會的新焦點(diǎn)。

【資料圖】

1.模型激增

近年來，大型語言模型的能力有了很大的提高，OpenAI在2020年創(chuàng)建的GPT-3是一個(gè)重要的里程碑。這些改進(jìn)是由于創(chuàng)建了更大、更多的模型架構(gòu)，以及數(shù)據(jù)集大小的增加和技術(shù)公司為增加訓(xùn)練模型所花費(fèi)的計(jì)算能力而花費(fèi)的金額。經(jīng)驗(yàn)研究表明，數(shù)據(jù)集的大小、計(jì)算預(yù)算和特定模型的參數(shù)數(shù)量之間有很強(qiáng)的關(guān)系，在實(shí)踐中，計(jì)算預(yù)算是對模型改進(jìn)的最強(qiáng)制約。

此外，更多的參與者正在開發(fā)大型語言模型，其擴(kuò)散發(fā)生在三個(gè)方面。首先，如圖1所示，大型語言模型的研究主要發(fā)生在美國，但其他國家的研究人員（特別是中國），以及其他地方的特定研究機(jī)構(gòu)（如英國的DeepMind），已經(jīng)投入大量資源建立自己的模型。其次，開發(fā)語言模型的機(jī)構(gòu)類型已經(jīng)擴(kuò)大，既包括谷歌和微軟這樣的大型技術(shù)公司，也包括分散的研究人員群體。第三，開發(fā)者已經(jīng)探索了越來越廣泛的發(fā)布策略，包括扣留模型不發(fā)布（谷歌的策略直到2023年3月21日有限發(fā)布Bard），在應(yīng)用編程接口（API）后面限制對輸出的訪問（像OpenAI對ChatGPT所做的那樣），在非商業(yè)許可下發(fā)布模型（像Meta對其模型所做的那樣，稱為Open Pre-trained Transformers和LLaMA），以及在互聯(lián)網(wǎng)上發(fā)布完整、可下載的模型（像研究集體EleutherAI和BigScience所做的那樣）。這些模型的擴(kuò)散對國內(nèi)和國家安全有兩個(gè)近期影響：這些模型可能會使影響行動(dòng)的內(nèi)容質(zhì)量更高、數(shù)量更大，而對語言模型開發(fā)的競爭可能會使地緣政治緊張局勢升級。

圖1

2.作為影響工具的語言模型

國內(nèi)或國際宣傳者有兩種廣泛的選擇來獲取大型語言模型：使用不太復(fù)雜但公開可用的模型，或依靠人工智能公司，通過API提供結(jié)構(gòu)化的輸入/輸出訪問他們更強(qiáng)大的模型。第一種選擇允許宣傳者自由地進(jìn)行微調(diào)，對模型的訓(xùn)練數(shù)據(jù)做出小的貢獻(xiàn)，以誘導(dǎo)其行為的變化，并對模型的輸出施加更多的控制。

公共模型必須在本地運(yùn)行以產(chǎn)生輸出，但許多語言模型非常大，甚至不能裝入目前最具有內(nèi)存能力的處理器。大多數(shù)國家的政府有可能在相關(guān)的安全機(jī)構(gòu)內(nèi)建立必要的計(jì)算基礎(chǔ)設(shè)施來克服這一障礙，但除了成本之外，技術(shù)問題也可能成為一個(gè)障礙。盡管深度偽造視頻技術(shù)已經(jīng)存在了幾年，但它還沒有成為宣傳者的常用工具，部分原因可能是它仍然需要熟練的技術(shù)才能使用。然而，這種情況也可能發(fā)生變化，因?yàn)檩^新的“文本-圖像”模型，如Midjourney或Stable Diffusion，可以更容易操作，能夠只通過文本提示就生成看起來很真實(shí)的照片，而不需要進(jìn)行編碼。

相比之下，私人模型則不能被微調(diào)。但私人開發(fā)者已經(jīng)試圖從他們的模型輸出中清除敏感或煽動(dòng)性的內(nèi)容，他們還可能阻止來自某些國家的訪問，或禁止那些似乎在惡意使用模型的個(gè)人用戶。盡管有這些風(fēng)險(xiǎn)，通過API訪問模型，即使被發(fā)現(xiàn)也不會給宣傳者帶來直接成本，這意味著它可能仍然是首選的訪問方法。

3.國際競爭

10月，美國總統(tǒng)拜登政府宣布對流向中國的先進(jìn)半導(dǎo)體芯片實(shí)施新的出口管制，部分原因是這些芯片對人工智能發(fā)展而言至關(guān)重要。雖然出口管制的公開意圖是限制用于監(jiān)控或軍事應(yīng)用的人工智能系統(tǒng)的發(fā)展，但語言模型也高度依賴于這些先進(jìn)的半導(dǎo)體。實(shí)施出口管制的部分動(dòng)機(jī)可能是試圖保持美國在語言模型方面的優(yōu)勢，無論是作為更廣泛的人工智能技術(shù)競爭戰(zhàn)略的一部分，還是因?yàn)檎Ｍ貏e抑制中國對語言模型的開發(fā)（例如，因?yàn)閾?dān)心這種模型會被用于增強(qiáng)現(xiàn)有的中國影響行動(dòng)）。

然而，目前還不清楚這些措施是否會有效。雖然語言模型由于計(jì)算能力的提高而得到了改善，但它們不可能繼續(xù)以目前的速度進(jìn)行改善。這部分是由于繼續(xù)擴(kuò)大模型的財(cái)政限制，也因?yàn)橛?xùn)練大得多的模型需要先進(jìn)的半導(dǎo)體和互連速度，這在目前是不可行的。研究人員正在積極尋求開發(fā)計(jì)算效率更高的方法來訓(xùn)練類似的模型。一個(gè)國家試圖限制另一個(gè)國家的計(jì)算能力作為競爭人工智能發(fā)展的手段，可能會激勵(lì)目標(biāo)國家在這些計(jì)算效率更高的人工智能方法中發(fā)展競爭優(yōu)勢。此外，互聯(lián)網(wǎng)上只有那么多的“高質(zhì)量”文本（例如書籍和學(xué)術(shù)期刊文章），這可能很快就會成為語言模型發(fā)展的一個(gè)比計(jì)算能力的可用性更緊迫的制約因素。最后，雖然從頭開始訓(xùn)練語言模型的計(jì)算成本很高，但對現(xiàn)有模型進(jìn)行微調(diào)的成本并不高，在許多情況下，這些模型在執(zhí)行特定任務(wù)（如生成虛假信息）時(shí)同樣有效。各國也可能越來越多地將語言模型的發(fā)展視為國家的驕傲，這種看法會加劇對其發(fā)展的競爭企圖。

但是，盡管美國以外的公司渴望生產(chǎn)出能與ChatGPT相媲美的模型，他們可能會面臨美國沒有的監(jiān)管障礙。例如在歐洲，監(jiān)管機(jī)構(gòu)目前正試圖闡明“通用人工智能”，一個(gè)包括大型語言模型的類別，將如何適應(yīng)歐盟人工智能法案草案中基于風(fēng)險(xiǎn)的整體結(jié)構(gòu)。語言模型的訓(xùn)練并沒有考慮到具體的任務(wù)，它既可以用于良性目的，也可以用于《人工智能法》可能視為“高風(fēng)險(xiǎn)”的目的。

正因?yàn)槿绱?，至少有一些監(jiān)管機(jī)構(gòu)希望讓通用人工智能系統(tǒng)的開發(fā)者遵守與高風(fēng)險(xiǎn)人工智能系統(tǒng)開發(fā)者相同的法律要求。歐盟也在考慮采取更溫和的監(jiān)管方式，但即使是這樣，對語言模型開發(fā)者施加的責(zé)任也比美國多得多，而且可能會減緩歐洲的技術(shù)發(fā)展。

在中國存在類似的監(jiān)管模糊性，與歐盟相比，更多的中國公司明確表示希望開發(fā)ChatGPT的競爭對手，百度在3月16日發(fā)布了一個(gè)競爭產(chǎn)品（稱為Ernie Bot），騰訊也宣布計(jì)劃這樣做。但是，2023年初頒布的中國新法規(guī)禁止所謂的“深度合成服務(wù)提供商”，包括語言模型提供商，“制作、復(fù)制、發(fā)布或傳播”假新聞信息。盡管由于對ChatGPT和其他西方語言模型的訪問進(jìn)行了打擊，中國的科技公司擁有相對清晰的競爭領(lǐng)域，但訓(xùn)練明確符合這些法規(guī)的模型的難度可能會阻止他們快速部署自己的語言模型。

發(fā)布時(shí)間｜2023年4月

文章來源｜國際戰(zhàn)略研究所

原文標(biāo)題｜Large language models: fast proliferation and budding international competition

原文地址｜https://www.iiss.org/publications/strategic-comments/2023/large-language-models-fast-proliferation-and-budding-international-competition/

關(guān)鍵詞：