近日,在火爆全球的AI聊天機(jī)器人ChatGPT上線四個(gè)月后,OpenAI又發(fā)布了ChatGPT-4。從OpenAI的官網(wǎng)可以了解到,與上一個(gè)版本相比,GPT-4 擁有了更廣的知識(shí)面和更強(qiáng)的解決問(wèn)題能力,在創(chuàng)意、視覺(jué)輸入和長(zhǎng)內(nèi)容上都有更好的表現(xiàn)。GPT-4是一個(gè)超大的多模態(tài)模型,實(shí)現(xiàn)了從文本理解到圖像理解的飛躍式提升:包括強(qiáng)大的識(shí)圖能力;文字輸入限制從不足萬(wàn)字提升至 2.5 萬(wàn)字;回答準(zhǔn)確性顯著提高;輸出層面能夠生成歌詞、創(chuàng)意文本,實(shí)現(xiàn)風(fēng)格的多樣性變化。

　　OpenAI的創(chuàng)始人Sam Altman甚至介紹:這是我們迄今為止功能最強(qiáng)大的模型!

　　大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型的定義

　　大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型(Large Language Model,LLM)是指一種深度學(xué)習(xí)模型,它可以學(xué)習(xí)大量的語(yǔ)言知識(shí),并能夠生成自然流暢的語(yǔ)言文本。這些模型通�；�于Transformer深度學(xué)習(xí)模型,使用海量語(yǔ)料進(jìn)行預(yù)訓(xùn)練,然后通過(guò)微調(diào)等技術(shù)進(jìn)行進(jìn)一步任務(wù)適配。目前,的大模型參數(shù)量過(guò)千億,已經(jīng)被觀察到有能力涌現(xiàn)的情況——即不需要微調(diào),就可以快速在上下文中學(xué)習(xí),完成多類任務(wù)。

　　ChatGPT正是基于Transformer模型的大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型,通過(guò)在人工標(biāo)注和反饋的大規(guī)模數(shù)據(jù)上進(jìn)行學(xué)習(xí),使模型能夠更好地理解人類的問(wèn)題,通過(guò)自然流暢的語(yǔ)言文本,給出相應(yīng)的回復(fù)。

　　大模型的背后訓(xùn)練語(yǔ)料

　　預(yù)訓(xùn)練語(yǔ)料的選擇對(duì)于模型的最終質(zhì)感有著重要的影響。當(dāng)前,訓(xùn)練LLM所需的語(yǔ)料庫(kù)通常來(lái)自于互聯(lián)網(wǎng)上公開可用的數(shù)據(jù)文本、網(wǎng)頁(yè)文本和源代碼文本等。如Wikipedia、Common Crawl等。雖然這些語(yǔ)料庫(kù)規(guī)模龐大,但其中可能會(huì)存在重復(fù)、過(guò)時(shí)、錯(cuò)誤的信息,可能會(huì)對(duì)LLM的訓(xùn)練和應(yīng)用產(chǎn)生負(fù)面影響。

　　因此,語(yǔ)料的去重和提純至關(guān)重要。為了確保模型訓(xùn)練的質(zhì)量和效果,在構(gòu)建大型語(yǔ)言模型的語(yǔ)料庫(kù)時(shí),開發(fā)者往往需要經(jīng)過(guò)多個(gè)步驟的處理才能得到可用的語(yǔ)料。

　　據(jù)統(tǒng)計(jì),從GPT進(jìn)化到GPT-3,預(yù)訓(xùn)練數(shù)據(jù)量從5GB增加到45TB。在訓(xùn)練GPT 3.5的過(guò)程中,為了保證語(yǔ)料的質(zhì)量和多樣性,OpenAI使用了多種技術(shù)和方法來(lái)清理和篩選語(yǔ)料。

　　首先,OpenAI通過(guò)爬蟲程序定期從互聯(lián)網(wǎng)上收集文本數(shù)據(jù),并使用機(jī)器學(xué)習(xí)技術(shù)自動(dòng)清洗和處理這些數(shù)據(jù)。其次,OpenAI針對(duì)不同的應(yīng)用場(chǎng)景選擇不同類型的語(yǔ)料,以確保語(yǔ)料庫(kù)的多樣性和覆蓋面。此外,除了從互聯(lián)網(wǎng)上收集語(yǔ)料和使用特殊的數(shù)據(jù)集,OpenAI還使用了對(duì)抗式訓(xùn)練技術(shù)來(lái)增強(qiáng)模型的穩(wěn)健性和魯棒性。

　　大語(yǔ)言模型的終身學(xué)習(xí)

　　隨著人們對(duì)大語(yǔ)言模型的依賴越來(lái)越深,大模型的終身學(xué)習(xí)問(wèn)題變得越來(lái)越重要。終身學(xué)習(xí)也叫做增量學(xué)習(xí),指的是快速為大語(yǔ)言模型添加新的知識(shí)的過(guò)程。

　　通常來(lái)說(shuō),大語(yǔ)言模型的訓(xùn)練都是以數(shù)月或者數(shù)周為周期進(jìn)行,由于使用的語(yǔ)料數(shù)量非常大,提前清洗的工序也需要占用一定的時(shí)間,每個(gè)模型成型的時(shí)候,最近幾個(gè)月的數(shù)據(jù)都不會(huì)被訓(xùn)練進(jìn)去。例如,初代chatGPT并不知道我國(guó)的疫情管控措施放開了。

　　在訓(xùn)練過(guò)程中,新的數(shù)據(jù)需要與舊的數(shù)據(jù)進(jìn)行交互,但是由于模型已經(jīng)被訓(xùn)練得非常復(fù)雜,新數(shù)據(jù)的引入可能會(huì)對(duì)已有的知識(shí)造成干擾,從而導(dǎo)致模型的性能下降。

　　此外,增量學(xué)習(xí)還需要考慮如何避免過(guò)擬合、如何有效利用新數(shù)據(jù)等問(wèn)題。為大語(yǔ)言模型提供新知識(shí)的方法,通常是收集到新的語(yǔ)料,并且高效地調(diào)整模型中極少量的參數(shù),在不引起副作用的情況下讓模型學(xué)到新的知識(shí)。這類微調(diào)方法目前已經(jīng)有幾種效果不錯(cuò)的嘗試,包括loRA、A-gen等。但是新語(yǔ)料的快速清洗和發(fā)布則沒(méi)有看到成型的解決方案。

　　標(biāo)貝科技致力于為預(yù)訓(xùn)練大語(yǔ)言模型提供終身學(xué)習(xí)語(yǔ)料

　　如何為大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型提供的、多樣化高質(zhì)量語(yǔ)料,并將其清洗、篩選、評(píng)估成為行業(yè)面臨的一大挑戰(zhàn)。作為行業(yè)的AI數(shù)據(jù)解決方案提供商,標(biāo)貝科技做好數(shù)據(jù)服務(wù)技術(shù)創(chuàng)新的同時(shí),也始終在積極探索如何滿足大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型的需求,有效提高語(yǔ)料庫(kù)的質(zhì)量和多樣性,增加數(shù)據(jù)使用的價(jià)值。

　　首先,我們可以引入學(xué)習(xí)價(jià)值評(píng)估的模型,對(duì)語(yǔ)料進(jìn)行自動(dòng)化的篩選和評(píng)估。這些模型可以基于非監(jiān)督學(xué)習(xí)的方法,從每天新爬取的語(yǔ)料庫(kù)中挖掘出高質(zhì)量、有用的語(yǔ)料,并對(duì)其進(jìn)行標(biāo)注和評(píng)分。例如,使用主題模型和情感分析技術(shù)來(lái)評(píng)估語(yǔ)料的相關(guān)性和情感色彩,從而確定哪些語(yǔ)料最適合用于預(yù)訓(xùn)練模型的更新。此外,還可以引入謠言檢測(cè)等機(jī)制,每天將檢測(cè)到的新的謠言從歷史數(shù)據(jù)中刪除,以確保語(yǔ)料庫(kù)的準(zhǔn)確性和可靠性。

　　其次,利用的自然語(yǔ)言處理技術(shù)和機(jī)器學(xué)習(xí)技術(shù)來(lái)獲取更新的語(yǔ)料。例如,使用的爬蟲技術(shù)和自動(dòng)化工具來(lái)從互聯(lián)網(wǎng)上獲取的新聞和熱門表達(dá)方式,并使用自然語(yǔ)言處理技術(shù)來(lái)將其清洗和轉(zhuǎn)換成適合于預(yù)訓(xùn)練模型的格式。此外,還可以利用機(jī)器學(xué)習(xí)技術(shù)來(lái)自動(dòng)標(biāo)注和分類語(yǔ)料,從而提高語(yǔ)料庫(kù)的多樣性和覆蓋范圍。

　　最后,將的語(yǔ)料庫(kù)與其他數(shù)據(jù)集進(jìn)行整合,以獲得更全面和多樣化的語(yǔ)料。例如,將維基百科、Common Crawl等公共數(shù)據(jù)集與自己的語(yǔ)料庫(kù)進(jìn)行整合,并使用聚類分析和文本挖掘技術(shù)來(lái)發(fā)現(xiàn)新的語(yǔ)料和知識(shí)。此外,還可以利用人工智能技術(shù)和專業(yè)知識(shí)來(lái)對(duì)語(yǔ)料庫(kù)進(jìn)行領(lǐng)域劃分和分類,以滿足不同行業(yè)和領(lǐng)域的需求。

　　總之,ChatGPT的成功,也代表著AI應(yīng)用從以專用小模型訓(xùn)練階段為主跨越到以通用大模型預(yù)訓(xùn)練為主階段,面對(duì)上百億、萬(wàn)億規(guī)模的訓(xùn)練參數(shù),對(duì)算力、數(shù)據(jù)、算法均提出了更高的要求。標(biāo)貝科技作為AI數(shù)據(jù)服務(wù)領(lǐng)域代表品牌,始終致力于以先進(jìn)的技術(shù)和數(shù)據(jù)服務(wù)滿足前沿部署需求。未來(lái),我們也將持續(xù)布局,加碼研發(fā)投入,攜手國(guó)內(nèi)外上下游合作伙伴,共同為預(yù)訓(xùn)練大語(yǔ)言模型提供學(xué)習(xí)價(jià)值更高的語(yǔ)料,助力AI產(chǎn)業(yè)騰飛。