GPT-3(Generative Pre-trained Transformer 3)是由OpenAI開發(fā)的一種無監(jiān)督語言模，但是，OpenAI沒有發(fā)布并透明化其試驗(yàn)架構(gòu)，反而是MetaAI率先開源。MetaAI（當(dāng)時(shí)的Facebook）一直在其人工智能領(lǐng)域深挖細(xì)耕，皮諾多年來一直在推動(dòng)人工智能研發(fā)過程中的透明度，Meta此次以這樣的程度開源其大型語言模型是一個(gè)非常大膽的舉措。
GPT-3模型架構(gòu)是基于Transformer解碼器模型，GPT語言模型中約有1750億個(gè)參數(shù)，是在生成文本段落、模擬人類對(duì)話及解決數(shù)學(xué)問題方面表現(xiàn)驚人的大型語言模型。
GPT-3模型是一個(gè)通用的預(yù)訓(xùn)練生成模型，使用Transformer的Decoder-only結(jié)構(gòu)，可以用于解決下游各種類型的生成任務(wù)，特別是zero-shot生成能力。
經(jīng)過訓(xùn)練的語言模型：預(yù)估將需要花費(fèi)355年的GPU時(shí)間，花費(fèi)460萬美元，集3000億個(gè)文本token的數(shù)據(jù)樣本，重復(fù)數(shù)百萬次的輸入輸出，微調(diào)糾錯(cuò)。雖然這一語言模型，有待完善，眾說紛紜，褒貶不一，但這正是其開源的智慧和意義。
