林詠華現(xiàn)場(chǎng)有關(guān)大模型的主旨演講讓聽眾對(duì)chatGPT等現(xiàn)象“知其然更知其所以然”

【導(dǎo)讀】6月20日，163期文匯講堂“數(shù)字強(qiáng)國(guó)”系列啟動(dòng)，首期《AIGC驅(qū)動(dòng)生產(chǎn)力躍升與良好世界塑造》，在涌動(dòng)著畢業(yè)季青春氣息的華東師大櫻桃河畔成功舉辦。北京智源人工智能研究院副總兼總工程師林詠華應(yīng)邀作主講，華東師大學(xué)者楊國(guó)榮致辭，計(jì)算機(jī)學(xué)院賀樑、哲學(xué)系酈全民、付長(zhǎng)珍、潘斌、劉梁劍參與數(shù)字&人文圓桌對(duì)談，13位聽友現(xiàn)場(chǎng)互動(dòng)。校內(nèi)外7600余人觀看華東師大微信號(hào)直播。現(xiàn)場(chǎng)發(fā)放了50枚NFT數(shù)字徽章.

本次講座由文匯報(bào)社、上海樹圖區(qū)塊鏈研究院、華東師大中國(guó)現(xiàn)代思想與文化研究所、華東師大哲學(xué)系倫理與智慧研究中心聯(lián)合主辦。

(資料圖片)

現(xiàn)經(jīng)整理，刊發(fā)主旨演講，以饗聽友與讀者。

落入低谷的AI，去年因chatGPT代表的大模型與文生圖出現(xiàn)拐點(diǎn)，進(jìn)入新十年

非常高興借此機(jī)會(huì)和大家分享我過(guò)去多年在AI領(lǐng)域經(jīng)歷的機(jī)遇和挑戰(zhàn)：從小模型走到大模型，從科研成果落地到產(chǎn)業(yè)。在過(guò)去幾十年，人工智能起起落落。去年6月之前，整個(gè)人工智能處在前一波浪潮往下落的一個(gè)區(qū)間。去年下半年，出現(xiàn)了兩個(gè)現(xiàn)象級(jí)的應(yīng)用：一是文生圖，二是以chatGPT為代表的大模型技術(shù)的涌現(xiàn)和爆發(fā)。這兩個(gè)事件把整個(gè)AI從一個(gè)拐點(diǎn)引向下一個(gè)起點(diǎn)，而這個(gè)新的起點(diǎn)的確是由大模型引領(lǐng)未來(lái)人工智能發(fā)展的十年。

思考一：大模型帶來(lái)AI研發(fā)范式的改變

為什么研發(fā)范式很重要？因?yàn)楫?dāng)科研界將一個(gè)技術(shù)做到突破和創(chuàng)新后，它們?nèi)绾螐V泛地落地到各行各業(yè)，與其研發(fā)范式、研發(fā)產(chǎn)品的代價(jià)息息相關(guān)。

*第一階段范式：從頭開始訓(xùn)練領(lǐng)域模型

至今，AI研發(fā)范式經(jīng)歷了三個(gè)階段的變化。

第一個(gè)階段是從頭開始訓(xùn)練領(lǐng)域模型。最初深度學(xué)習(xí)與人工智能出現(xiàn)時(shí)，大家考慮的都是如何利用手上海量的數(shù)據(jù)，通過(guò)諸多計(jì)算資源，把模型從頭到尾訓(xùn)練出來(lái)，然后再將它部署到各行各業(yè)。因?yàn)樾枰罅繑?shù)據(jù)、算力，尤其需要的整個(gè)AI全棧的技術(shù)人才特別昂貴。因此，這種范式無(wú)法持久。

第二階段范式：預(yù)訓(xùn)練模型+微調(diào)訓(xùn)練的遷移學(xué)習(xí)

2014年，在幾個(gè)AI頂級(jí)峰會(huì)上分別出現(xiàn)了描述預(yù)訓(xùn)練模型+微調(diào)的遷移學(xué)習(xí)技術(shù)的文章。利用擁有1000多萬(wàn)張圖片、涵蓋常見的2萬(wàn)種物品的圖片庫(kù)，訓(xùn)練出通用的視覺分類基礎(chǔ)模型，其規(guī)模是中小量級(jí)的模型。此后，大家利用醫(yī)療影像分析、工業(yè)的缺陷檢測(cè)等自己領(lǐng)域的數(shù)據(jù)對(duì)它進(jìn)行訓(xùn)練。這一過(guò)程是從一個(gè)通用領(lǐng)域到另一個(gè)專用領(lǐng)域的遷移學(xué)習(xí)。從今天視角來(lái)看，相當(dāng)于一個(gè)初中畢業(yè)生通過(guò)三年的專科培訓(xùn)，成為了一個(gè)具有專業(yè)技能的專員。

由此，研發(fā)范式進(jìn)入第二個(gè)階段——由預(yù)訓(xùn)練的基礎(chǔ)模型加上小批量的數(shù)據(jù)和少量的算力的微調(diào)訓(xùn)練，就可以形成企業(yè)要落地到不同場(chǎng)景的不同模型。這種范式中，行業(yè)企業(yè)只需要做數(shù)據(jù)收集和處理、模型訓(xùn)練、模型服務(wù)等部分工作，從人力、物力、財(cái)力上來(lái)看，投入量減少了幾倍、甚至十倍。

計(jì)算機(jī)視覺領(lǐng)域的遷移學(xué)習(xí)，帶動(dòng)了過(guò)去十年的AI潮起潮落。這整個(gè)過(guò)程今天看起來(lái)可以稱為小模型的階段。

從2013到2015年，人工智能因?yàn)檫w移學(xué)習(xí)的出現(xiàn)，讓基于深度學(xué)習(xí)的計(jì)算機(jī)視覺分析在多個(gè)領(lǐng)域落地變得似乎更加容易，深受追捧。另一個(gè)現(xiàn)象級(jí)事件是，在2015年的ILSVRC（ImageNet Large Scale Visual Recognition Challenge）圖像分類比賽中，ResNet網(wǎng)絡(luò)的圖像辨別錯(cuò)誤率低至3.57%，已經(jīng)超越了人的識(shí)別能力（大約5%）。正因?yàn)檫@兩個(gè)標(biāo)志性事件，人工智能被認(rèn)為有望大范圍成功。商湯、云從、依圖、格靈深瞳等在內(nèi)的眾多AI公司也是在那個(gè)時(shí)候紛紛創(chuàng)立，受到投資界的普遍追捧。

但從2017年之后，人工智能從高潮慢慢緩落。

2017年，每年全球有4000多個(gè)企業(yè)因?yàn)槟玫饺谫Y而成立AI公司。但到2020年，這個(gè)數(shù)字一直往下落至600-700家，以至于在過(guò)去一兩年甚至出現(xiàn)了AI泡沫破滅的眾多說(shuō)法。

為什么跟大家分享這些？眼看AI又一個(gè)新的十年潮起涌現(xiàn)，作為從業(yè)者需要深入思考：為何前一個(gè)十年出現(xiàn)萬(wàn)眾期待，最后并未如想象在各行各業(yè)廣泛落地？而在未來(lái)十年，該做對(duì)什么，使得新一輪技術(shù)潮起后能得到更好的發(fā)展，而非很快就潮落了。

第三個(gè)階段范式：基礎(chǔ)大模型+應(yīng)用提示

第三階段研究范式，塑造了通才型大模型，降低下游企業(yè)應(yīng)用成本

在當(dāng)下的第三階段研發(fā)范式中，基礎(chǔ)大模型很重要的是基座，一是需要用海量的預(yù)訓(xùn)練數(shù)據(jù)去訓(xùn)練它，通常是千億級(jí)以上的數(shù)據(jù)。二是參數(shù)量很大，幾十億參數(shù)是入門，很多時(shí)候會(huì)達(dá)到百億級(jí)參數(shù)，甚至千億級(jí)參數(shù)。三是所需要的算力更大。這種基礎(chǔ)大模型幫助我們學(xué)習(xí)各種通用的知識(shí)，包括實(shí)現(xiàn)各種模型的能力，如理解能力、生成能力，甚至涌現(xiàn)能力?，F(xiàn)在在業(yè)界能看到的屬于這種基座大模型的有哪些？例如GPT-4、GPT-3.5、LLaMA、智源新研發(fā)出來(lái)的天鷹·Aquila等?；A(chǔ)大模型最重要的功能的就是提示學(xué)習(xí)能力。它跟人很像，可以做到有樣學(xué)樣。

在第三個(gè)研發(fā)范式階段，對(duì)很多下游行業(yè)企業(yè)來(lái)說(shuō)，甚至不需要走第二階段的微調(diào)訓(xùn)練模型，而是直接減少到只要做API調(diào)用就可以，有更大幅度成本的降低，尤其可以適用到各個(gè)應(yīng)用領(lǐng)域。chatGPT出來(lái)之后，大家用各種人類領(lǐng)域的專業(yè)考題去測(cè)試它，包括法律、醫(yī)學(xué)、政治，以及美國(guó)的AP課程，它都考得很好，就像通才一樣。這聽起來(lái)真的很美好。

思考二：大模型如何產(chǎn)業(yè)落地？

大模型如何產(chǎn)業(yè)落地？這一步走好才能讓上億甚至數(shù)十億、數(shù)百億在大模型上的研發(fā)投入，能夠真正帶領(lǐng)所有行業(yè)的智能化提升。

*基礎(chǔ)模型預(yù)訓(xùn)練+基礎(chǔ)模型持續(xù)訓(xùn)練+指令微調(diào)

大模型的應(yīng)用方式有兩種：一種是提示學(xué)習(xí)，另一種是指令微調(diào)訓(xùn)練。

大模型是“記不住”提示學(xué)習(xí)的過(guò)程的，如果僅靠提示學(xué)習(xí)中的“提示”，勢(shì)必每一次的API調(diào)用都得帶上冗長(zhǎng)、而且越來(lái)越長(zhǎng)的提示，這在實(shí)際產(chǎn)品中很難滿足。因此在產(chǎn)品真正落地時(shí)，必須要引入指令微調(diào)。指令微調(diào)就是利用基礎(chǔ)模型的知識(shí)完成指定的任務(wù)。就像本科生學(xué)了大量知識(shí)后，需要一個(gè)上崗培訓(xùn)。指令微調(diào)也不是很昂貴，例如我們?cè)?jīng)做過(guò)一個(gè)針對(duì)某應(yīng)用的自然語(yǔ)言轉(zhuǎn)SQL的場(chǎng)景，在提示學(xué)習(xí)不起作用時(shí)，指令微調(diào)數(shù)據(jù)只放了20條，包括所有環(huán)境的搭建在內(nèi)總共花費(fèi)8小時(shí)。

其實(shí)，今天看到的chatGPT不是一個(gè)基礎(chǔ)模型，它是一個(gè)經(jīng)過(guò)很多指令對(duì)它進(jìn)行微調(diào)的對(duì)話模型，所以它似乎做什么都很在行。其實(shí)正因?yàn)樗占巳蛉祟惖闹T多指令，不斷地微調(diào)它。例如智源的天鷹AquilaChat對(duì)話模型，也是在Aquila基礎(chǔ)模型之上經(jīng)過(guò)指令微調(diào)才可回答人類的各種問(wèn)題。比如6月8日正好是全國(guó)高考，它在10秒內(nèi)就完成了當(dāng)天的高考作文。

但在這個(gè)過(guò)程中，其實(shí)它還只具備通用的能力，即主要是面對(duì)互聯(lián)網(wǎng)的應(yīng)用，如閑聊、問(wèn)答。如果希望大模型能夠真正服務(wù)于更多的經(jīng)濟(jì)體系、實(shí)體經(jīng)濟(jì)，就需要考慮如何把大模型落地到專業(yè)行業(yè)里。很重要的一點(diǎn)是要在通用能力的基礎(chǔ)模型之上，通過(guò)加入大量專業(yè)領(lǐng)域知識(shí)進(jìn)行持續(xù)訓(xùn)練，形成專業(yè)領(lǐng)域的基礎(chǔ)模型。就如同本科生做了通識(shí)教育之后，再給他進(jìn)行一至三年的研究生深造學(xué)習(xí)。

所以，綜合來(lái)看，基礎(chǔ)模型訓(xùn)練相當(dāng)于通用領(lǐng)域的本科生學(xué)習(xí)，基礎(chǔ)模型在專業(yè)知識(shí)數(shù)據(jù)的持續(xù)訓(xùn)練相當(dāng)于專業(yè)領(lǐng)域的研究生深造學(xué)習(xí)，之后再進(jìn)行指令微調(diào)訓(xùn)練，相當(dāng)于專業(yè)領(lǐng)域的上崗培訓(xùn)。

落地到具體產(chǎn)業(yè)領(lǐng)域，基礎(chǔ)大模型還需要走出專業(yè)持續(xù)訓(xùn)練和上崗培訓(xùn)兩個(gè)步驟

*大模型在產(chǎn)業(yè)落地中如何克服遺忘性和幻覺率

模型畢竟是通過(guò)上億篇文章或者網(wǎng)頁(yè)對(duì)它進(jìn)行訓(xùn)練，其實(shí)它跟人一樣，也會(huì)忘記東西?？蒲薪y(tǒng)計(jì)后的結(jié)論是：第一，模型越大記憶力越好，記住的百分比越多。無(wú)論模型大小，如果只讓模型看過(guò)2-3遍的數(shù)據(jù)，它能記住的只有百分之幾的數(shù)據(jù)量。

這就產(chǎn)生了一對(duì)矛盾。首先從版權(quán)保護(hù)的角度看，或許不希望它記得太牢。大模型的訓(xùn)練不得不從互聯(lián)網(wǎng)平臺(tái)上獲取到很多的文章、作品，用以訓(xùn)練。至今為止還未有一個(gè)明確的界定，如果它因?yàn)樽x了這些文章，而產(chǎn)生大篇幅與之相同的內(nèi)容，是否會(huì)導(dǎo)致版權(quán)問(wèn)題？這是有待解決的問(wèn)題。

從這個(gè)角度看，如果模型的記憶力只有百分之幾，版權(quán)問(wèn)題就不會(huì)那么嚴(yán)重。但是當(dāng)真正產(chǎn)業(yè)落地時(shí)，這又會(huì)成為較大的問(wèn)題，即模型訓(xùn)練了半天卻記不住。

“幻覺率”就是我們常說(shuō)的一本正經(jīng)的胡說(shuō)八道。成因是什么？第一，預(yù)訓(xùn)練的數(shù)據(jù)集可能會(huì)包含某一些錯(cuò)誤的信息，很多來(lái)自二十年前、三十年前，會(huì)昨是今非。第二，更多可能是模型的數(shù)據(jù)預(yù)訓(xùn)練的上億、幾億的數(shù)據(jù)里沒有直接包含相關(guān)信息。這會(huì)導(dǎo)致我們面對(duì)嚴(yán)肅的行業(yè)，如醫(yī)療、金融、法律等，必須考慮用什么額外的技術(shù)來(lái)降低幻覺率。

*大模型和小模型在未來(lái)十年必會(huì)并存

我個(gè)人認(rèn)為，未來(lái)十年大模型和小模型必定會(huì)共存。大模型和小模型之間的重要差異有三個(gè)：

第一，在小模型時(shí)代，我們對(duì)目標(biāo)領(lǐng)域的知識(shí)是通過(guò)遷移學(xué)習(xí)、微調(diào)訓(xùn)練獲得的，本身的基礎(chǔ)模型并沒有任何的目標(biāo)領(lǐng)域知識(shí)。但在大模型時(shí)代，基礎(chǔ)模型本身需要具備充足的專業(yè)領(lǐng)域知識(shí)，而指令微調(diào)訓(xùn)練只不過(guò)是讓它告訴這個(gè)模型如何去運(yùn)用知識(shí)而已。

第二，與應(yīng)用領(lǐng)域密切相關(guān)，對(duì)于精度要求較高的領(lǐng)域，尤其是感知性的領(lǐng)域，需要給出很精準(zhǔn)的結(jié)果，例如，在醫(yī)療中某個(gè)影像說(shuō)明腫瘤在第幾級(jí)病變的情況。這需要單個(gè)模型的準(zhǔn)確率非常高。此時(shí)它不需要學(xué)會(huì)琴棋書畫等大模型的泛化能力和通用能力，這種場(chǎng)景適合小模型。

第三，算力、基礎(chǔ)設(shè)施與模型選擇相關(guān)，對(duì)成本要求、時(shí)延要求低的重要場(chǎng)合，例如自動(dòng)駕駛、工業(yè)毫秒級(jí)的控制，在通訊和時(shí)延的環(huán)境下還是適合小模型，因?yàn)樗菀追旁谒懔^低的邊緣側(cè)。大模型則是相反的情況。這兩個(gè)技術(shù)是相互融合的。

*小模型的賽道企業(yè)如何融入到大模型時(shí)代？

Meta公司今年3月發(fā)布的SAMG分割大模型受到追捧 來(lái)自網(wǎng)絡(luò)

很多人提出，對(duì)過(guò)去十年發(fā)展起來(lái)的小模型的AI公司、科研團(tuán)隊(duì)，在大模型時(shí)代是否都需要遷往大模型？應(yīng)該如何利用它們已有的積累做得更好？

第一，可以把原有在小模型時(shí)代的算法進(jìn)行更新?lián)Q代，把大模型新的技術(shù)融入到小模型。舉個(gè)例子， Transformer模型結(jié)構(gòu)被大模型時(shí)代認(rèn)為是重要的技術(shù)標(biāo)志，因?yàn)樵谛∧Ｐ椭?，尤其是在?jì)算機(jī)視覺經(jīng)常用的是深度學(xué)習(xí)里的CNN網(wǎng)絡(luò)。我們做過(guò)一個(gè)實(shí)驗(yàn)，用Transformer為基礎(chǔ)的VIT計(jì)算機(jī)視覺模型，來(lái)替代小模型時(shí)代的CNN網(wǎng)絡(luò)，發(fā)現(xiàn)在達(dá)到差不多準(zhǔn)確率的情況下，大模型在預(yù)訓(xùn)練階段可節(jié)省1/4的顯存，推理速度只需要ResNet50的58%時(shí)延，實(shí)驗(yàn)時(shí)所需要的資源更少。這的確打破了大模型技術(shù)必須是資源消耗高的定律。

第二，應(yīng)用新的方法做到以前很難解決的問(wèn)題。比如Meta公司在今年3月發(fā)布的視覺分割大模型SAM，能做到視覺范圍內(nèi)各種物體被精準(zhǔn)地分割出來(lái)。這種技術(shù)可以用于清點(diǎn)超市、倉(cāng)庫(kù)等的貨物數(shù)量。這在之前一直很難做到，或者需要多個(gè)復(fù)雜技術(shù)疊加。我知道已經(jīng)有一些小模型公司將SAM大模型落地。

第三，大模型中的小模型，例如我們新發(fā)布的AquilaChat天鷹對(duì)話模型，僅70億參數(shù)，通過(guò)int4量化技術(shù)，就可在4G的顯存上運(yùn)行起來(lái)。而當(dāng)前國(guó)產(chǎn)邊緣側(cè)的芯片都已經(jīng)有8G顯存。所以，大模型浪潮下，很多AI小模型賽道的公司，完全可以煥發(fā)一種更新的活力。

思考三：打造基礎(chǔ)大模型的重要性

林詠華演講中援引智源研究院打造大模型的例子，生動(dòng)形象

大模型中最重要的是下面的基座模型。打造基座大模型就等同于AI中的CPU一樣的重要。

*投入非常昂貴，百億參數(shù)動(dòng)輒上千萬(wàn)元以上

第一，除了做芯片、CPU的流片以外，基礎(chǔ)模型已經(jīng)成為AI大模型時(shí)代單一產(chǎn)品投入最大的部分。通過(guò)業(yè)界、包括我們研發(fā)大模型的一些數(shù)字可見一斑：300億參數(shù)的模型，包括數(shù)據(jù)、訓(xùn)練、評(píng)測(cè)的成本、所有的人力、物力、算力加起來(lái)，要耗資2000萬(wàn)；而上千億參數(shù)的模型，則約在4000多萬(wàn)、甚至更高。所以動(dòng)輒就是幾千萬(wàn)訓(xùn)出一個(gè)模型，投入十分高昂。

第二，基礎(chǔ)大模型決定了下游各種模型的重要能力。大家會(huì)發(fā)現(xiàn)不同的聊天機(jī)器人，有些只會(huì)說(shuō)英文，有些會(huì)編程，有些不會(huì)編程，有些懂得更多的科學(xué)知識(shí)，有的還能夠看懂圖片。其實(shí)這些能力是由下面的基礎(chǔ)模型所決定，只有預(yù)訓(xùn)練中把這些能力加入，對(duì)話模型中才能體現(xiàn)。

基礎(chǔ)模型很大程度上決定了后續(xù)模型的能力、產(chǎn)業(yè)落地等因素。從能力來(lái)看，大模型的理解能力、涌現(xiàn)能力、上下文學(xué)習(xí)能力都是由這個(gè)基礎(chǔ)模型的結(jié)構(gòu)、尺寸等等決定。從知識(shí)來(lái)看，無(wú)論是通用知識(shí)還是專業(yè)知識(shí)都是在基礎(chǔ)模型訓(xùn)練過(guò)程中學(xué)習(xí)到的。

*價(jià)值觀的保證首先需要干凈的語(yǔ)料庫(kù)

第三，從合規(guī)性和安全性來(lái)看，對(duì)于內(nèi)容生成的模型，其生成的內(nèi)容是否積極陽(yáng)光，有無(wú)偏見、倫理問(wèn)題等，很大程度是由基礎(chǔ)模型決定?；A(chǔ)模型如何能夠獲得人類的價(jià)值觀呢？通過(guò)訓(xùn)練語(yǔ)料。國(guó)內(nèi)外一些科研機(jī)構(gòu)、公司訓(xùn)練基礎(chǔ)模型，通常應(yīng)用到Common craw語(yǔ)料庫(kù)，這是互聯(lián)網(wǎng)訓(xùn)練語(yǔ)料全球最大的集合。但其中只有很少的是中文數(shù)據(jù)，在所有中文數(shù)據(jù)中，又只有17%的網(wǎng)源、網(wǎng)站、網(wǎng)址來(lái)自于國(guó)內(nèi)。絕大多數(shù)中文語(yǔ)料的來(lái)源都是來(lái)源于其他的國(guó)家和地區(qū)。國(guó)內(nèi)很好的中文內(nèi)容并沒有出現(xiàn)在里面。我們觀察到，基于這樣的數(shù)據(jù)集來(lái)訓(xùn)練有中文能力的基礎(chǔ)模型，有很大的風(fēng)險(xiǎn)。

*可商用許可的基礎(chǔ)模型才能造福更多企業(yè)

第四，從版權(quán)和商用許可來(lái)看，不少模型要不閉源、要不開源用的是非商用許可，這對(duì)學(xué)術(shù)研究沒有任何影響，但對(duì)企業(yè)要后續(xù)進(jìn)行商用和業(yè)務(wù)，是不能使用的。我們?yōu)楹我恢背珜?dǎo)開源，甚至在開源的時(shí)候就給予用戶可商用許可？智源希望把這些耗費(fèi)眾多資源訓(xùn)練得到的模型開源出來(lái)，被更多的企業(yè)所使用。據(jù)統(tǒng)計(jì)，今年1月至5月，新發(fā)布的國(guó)外開源語(yǔ)言大模型共有39個(gè)，其中可以直接商用的是16個(gè)，而是國(guó)內(nèi)開源語(yǔ)言大模型只有11個(gè)，且僅有1個(gè)對(duì)話模型是直接有可商用許可。

從另一個(gè)角度來(lái)看，基礎(chǔ)模型對(duì)整個(gè)產(chǎn)業(yè)的發(fā)展價(jià)值更大。有很多國(guó)內(nèi)團(tuán)隊(duì)紛紛開源大模型，這里有多少是真正的基礎(chǔ)模型？經(jīng)統(tǒng)計(jì)，截止至5月底，國(guó)外發(fā)布的開源語(yǔ)言大模型里只有5個(gè)是基礎(chǔ)模型，而國(guó)內(nèi)發(fā)布的開源語(yǔ)言大模型里只有2個(gè)是基礎(chǔ)模型，是復(fù)旦的MOSS和清華的CPM—Bee。

*智源的開發(fā)原則：中英雙語(yǔ)能力+模型開源

作為非盈利科研機(jī)構(gòu)的智源，我們倡導(dǎo)更多的力量投入：第一，支持中英雙語(yǔ)的基座模型。中英雙語(yǔ)支持，而非依靠翻譯。中文里有很多的知識(shí)是需要直接被訓(xùn)練到模型，依靠翻譯無(wú)法將許多中文知識(shí)納入其中。第二，希望可以支持商用許可協(xié)議，這才能夠避免眾多企業(yè)重復(fù)資源建造基座模型。第三，符合國(guó)內(nèi)數(shù)據(jù)合規(guī)需要，尤其是納入優(yōu)秀、高質(zhì)量的中文內(nèi)容。正因?yàn)榭吹侥壳盎Ｐ偷念A(yù)訓(xùn)練中有許多不干凈的語(yǔ)料，所以我們打造基礎(chǔ)模型時(shí)十分謹(jǐn)慎。中文語(yǔ)料均來(lái)自智源從2019年積累至今的數(shù)據(jù)，99%以上是來(lái)自咱們國(guó)內(nèi)的站源。國(guó)內(nèi)站源具有的優(yōu)點(diǎn)是都有ICP許可，所以也規(guī)范了網(wǎng)絡(luò)內(nèi)容的可靠性和可信度。

代碼模型是大模型產(chǎn)業(yè)落地的一種很重要的模型，具有廣闊應(yīng)用前景?；贏quila-7B強(qiáng)大的基礎(chǔ)模型能力，我們用更少的代碼訓(xùn)練數(shù)據(jù)，小參數(shù)量，高效實(shí)現(xiàn)了目前性能最好的中英雙語(yǔ)代碼模型。我們分別在英偉達(dá)和國(guó)產(chǎn)芯片上完成了代碼模型的訓(xùn)練，通過(guò)支持不同芯片架構(gòu)的代碼+模型的開源，推動(dòng)芯片創(chuàng)新和百花齊放。從給的例子大家可以看到，代碼模型可以讓我們輸入一句簡(jiǎn)單的描述，就可以自動(dòng)完成一個(gè)簡(jiǎn)單的登錄頁(yè)面，實(shí)現(xiàn)正弦三角函數(shù)的畫圖等。智源內(nèi)部還在挖掘、利用這些代碼模型完成更多的任務(wù)，例如輔助新的編譯器的實(shí)現(xiàn)等，這有可能會(huì)改變計(jì)算機(jī)領(lǐng)域更深層次的研發(fā)。

思考四：大模型時(shí)代，評(píng)測(cè)變得無(wú)比重要

講座開場(chǎng)，楊國(guó)榮教授致辭，認(rèn)為技術(shù)發(fā)展是人性化社會(huì)必經(jīng)階段

大模型訓(xùn)練要緊抓兩頭：一頭是數(shù)據(jù)，一頭是評(píng)測(cè)。

為什么評(píng)測(cè)很重要？一個(gè)300億參數(shù)的模型，每天對(duì)它投入的算力是10萬(wàn)元，十分昂貴。另一方面，正因?yàn)樗?，在整個(gè)過(guò)程中更需要關(guān)注所有的細(xì)節(jié)，一旦出現(xiàn)問(wèn)題，要及時(shí)發(fā)現(xiàn)并及時(shí)做出調(diào)整。

*尚未完全解決測(cè)評(píng)能力的主觀性和客觀性

此外，大模型的能力很復(fù)雜，很難用單一指標(biāo)表明這個(gè)模型在未來(lái)使用的各種能力，所以要使用各種評(píng)測(cè)方法和評(píng)測(cè)集對(duì)它進(jìn)行評(píng)測(cè)。在大模型訓(xùn)練穩(wěn)定之后，就要開始指令微調(diào)訓(xùn)練，再進(jìn)行循環(huán)迭代，不斷的調(diào)整。如果在過(guò)程中只用計(jì)算機(jī)客觀評(píng)測(cè)，很難準(zhǔn)確及系統(tǒng)性地看到主觀的生成能力，因此還必須加入主觀評(píng)測(cè)。而主觀評(píng)測(cè)至今還只能由人類進(jìn)行。我們也嘗試用chatGPT配合人類進(jìn)行評(píng)測(cè)，但在很多的測(cè)試案例上仍然偏差很大。

最后優(yōu)選的模型還要進(jìn)入red—team評(píng)測(cè)，也就是找一組未參與模型研發(fā)的人員扮演用戶群，對(duì)這個(gè)模型進(jìn)行各種提問(wèn)，包括各種惡意、刁鉆的提問(wèn)，來(lái)評(píng)估這個(gè)模型的效果。OpenAI在chatGPT發(fā)布之前，也是持續(xù)數(shù)月進(jìn)行類似的評(píng)測(cè)，才能保證有當(dāng)前的效果。

智源為了讓語(yǔ)言大模型能有更全面、系統(tǒng)的評(píng)測(cè)，打造了FlagEval天秤大模型評(píng)測(cè)系統(tǒng)，包括了中、英雙語(yǔ)的客觀、主觀22個(gè)評(píng)測(cè)集合，8萬(wàn)多個(gè)評(píng)測(cè)項(xiàng)?；谀壳白钚碌脑u(píng)測(cè)，AquilaChat以大約相當(dāng)于其他模型50%的訓(xùn)練數(shù)據(jù)量達(dá)到了最優(yōu)性能。但由于當(dāng)前的英文數(shù)據(jù)僅訓(xùn)練了相當(dāng)于Alpaca的40%，所以在英文的客觀評(píng)測(cè)上還暫時(shí)落后于基于LLaMA進(jìn)行指令微調(diào)的Alpaca。隨著后續(xù)訓(xùn)練的進(jìn)行，相信很快可以超越。

*跨模態(tài)的圖文辨別評(píng)測(cè)，拉動(dòng)基礎(chǔ)模型發(fā)展

評(píng)測(cè)對(duì)大模型在研發(fā)階段起到了相當(dāng)重要的作用，同時(shí)也是拉動(dòng)大模型發(fā)展的關(guān)鍵。以跨模態(tài)圖文評(píng)測(cè)為例，對(duì)于簡(jiǎn)單的圖文評(píng)測(cè)任務(wù)，好的模型基本已經(jīng)達(dá)到或超過(guò)人類的水平，在70分到90分之間。但對(duì)于稍微復(fù)雜的圖文評(píng)測(cè)任務(wù)，大模型只有10-11分?？缒B(tài)圖文的辨別、尤其是帶有邏輯理解要求的，是大模型與人類能力之間存有得巨大鴻溝。所以評(píng)測(cè)是拉動(dòng)大模型發(fā)展的關(guān)鍵，希望通過(guò)加入更復(fù)雜的評(píng)測(cè)項(xiàng)，來(lái)拉動(dòng)大模型向人類所需要的更復(fù)雜的場(chǎng)景發(fā)展。

*評(píng)測(cè)已經(jīng)演進(jìn)到認(rèn)知能力和人類思維能力

當(dāng)下的評(píng)測(cè)已經(jīng)跨入到第三第四臺(tái)階，即認(rèn)知能力和人類思維能力

大模型從去年進(jìn)入所有人的視野，其能力發(fā)展迅速。同時(shí)評(píng)測(cè)的難度也一路攀高，相當(dāng)于不斷地拉長(zhǎng)尺子，才能更好的量度大模型的能力?；A(chǔ)模型研發(fā)動(dòng)輒是幾千萬(wàn)，所以對(duì)更多的創(chuàng)業(yè)公司、AI公司，或者是下游的企業(yè)不再是自己從0到1把整個(gè)模型訓(xùn)練出來(lái)，更多的是從市面上選擇開源或者閉源的大模型進(jìn)行加工。這個(gè)選擇的過(guò)程應(yīng)該怎么進(jìn)行？這是大模型時(shí)代評(píng)測(cè)對(duì)產(chǎn)業(yè)落地很重要的因素。

隨著大模型能力的提升，對(duì)評(píng)測(cè)產(chǎn)生了四個(gè)臺(tái)階的演進(jìn)：

第一，理解能力。過(guò)去十年、二十年，AI一直是以理解能力評(píng)測(cè)為主，無(wú)論是計(jì)算機(jī)視覺還是自然語(yǔ)言處理。

第二，生成能力?，F(xiàn)在已經(jīng)出現(xiàn)了AI生成內(nèi)容，這不得不依靠人類的主觀進(jìn)行評(píng)測(cè)。主觀評(píng)測(cè)的質(zhì)量很難完全保障一致和客觀，現(xiàn)在我們也逐步引入一些AI的輔助手段去做。

第三，認(rèn)知能力。當(dāng)前人們考量各種大模型，已經(jīng)不認(rèn)為它們只是一個(gè)能說(shuō)會(huì)寫的語(yǔ)言模型，而是希望看到各種各樣的知識(shí)能力、認(rèn)知能力。因此，對(duì)評(píng)測(cè)來(lái)說(shuō)，更大的挑戰(zhàn)是如何刻畫一個(gè)全人類的認(rèn)知能力。另外，現(xiàn)在很多人用各類考題考驗(yàn)這些模型，但這些考題很多都已經(jīng)被泄露到模型的訓(xùn)練語(yǔ)料，所以這種認(rèn)知能力的評(píng)測(cè)也有失偏頗。

第四，人類思維能力。更困難的是，很多人希望這個(gè)模型更加像一個(gè)人類的思維一樣去理解、去思辨。所以對(duì)于模型的心智能力應(yīng)該怎樣評(píng)判、評(píng)價(jià)，就需要多學(xué)科的交叉。

思考五：大模型時(shí)代，智源的使命、工匠精神與好奇心

好奇心與工匠精神是完成使命的兩翼

智源研究院是非盈利的研發(fā)機(jī)構(gòu)，有近200個(gè)全職研究人員。在大模型時(shí)代，我們看到各種各樣的現(xiàn)實(shí)問(wèn)題、技術(shù)的問(wèn)題，亟需去突破。無(wú)論文生圖還是chatGPT的應(yīng)用，都離不開冰山下整個(gè)大模型全技術(shù)棧的積累，而這正是智源一直致力于打造的部分——所有的基礎(chǔ)模型，包括數(shù)據(jù)集、數(shù)據(jù)工具、評(píng)測(cè)工具，甚至包括AI系統(tǒng)、多種的跨芯片技術(shù)的支撐。這是我們的使命，既要打造冰山以下的大模型技術(shù)棧，同時(shí)以可商用的形式全部開源出來(lái)，使得無(wú)論是代碼還是模型，都能夠回饋給整個(gè)產(chǎn)業(yè)和學(xué)術(shù)界。也希望有更多的學(xué)術(shù)界、更多的科研團(tuán)隊(duì)與我們同行，對(duì)開源進(jìn)行貢獻(xiàn)，尤其至關(guān)重要的是AI領(lǐng)域內(nèi)外的學(xué)科的共同創(chuàng)新。

大模型時(shí)代需要科學(xué)與工程并行，一方面需要以工匠的精神鍛造每一個(gè)大模型，每一步都要精雕細(xì)琢，無(wú)論是數(shù)據(jù)、訓(xùn)練過(guò)程還是評(píng)測(cè)。另一方面，大模型里有太多的未知，需要以追星逐月的好奇心去探究，只有我們探究得更好，才能讓它在產(chǎn)業(yè)落地得更穩(wěn)，未來(lái)的十年才能是潮起后不斷地穩(wěn)步向前發(fā)展。

作者：林詠華（北京智源人工智能研究院副院長(zhǎng)兼總工程師）

圖照：現(xiàn)場(chǎng)拍攝/周文強(qiáng) 制作/胡楊 PPT來(lái)自演講者授權(quán)

編輯：李念

責(zé)任編輯：李念

*文匯獨(dú)家稿件，轉(zhuǎn)載請(qǐng)注明出處。

關(guān)鍵詞：