來自：NLP日志

提綱1 簡介 2 LaMDA 3 總結(jié)

1 簡介

LaMDA是在DeepMind的Sparrow跟openai的instructGPT之前由谷歌提出的對(duì)話機(jī)器人，全稱Language Models for Dialog Applications，是一個(gè)在海量對(duì)話跟web數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練再在人工標(biāo)注數(shù)據(jù)上做進(jìn)一步微調(diào)后得到的參數(shù)量高達(dá)137B的大模型。LaMDA除了在生成文本質(zhì)量有所提升外，通過在人工標(biāo)注數(shù)據(jù)上做進(jìn)一步finetune以及讓模型學(xué)會(huì)檢索利用外部知識(shí)源的能力，使得模型在安全性以及事實(shí)性這兩個(gè)關(guān)鍵問題上獲得明顯提升。

安全性指的是模型的回復(fù)應(yīng)該滿足一系列人為價(jià)值觀，例如沒有歧視跟偏見，不會(huì)生成傷害性建議。事實(shí)性指的模型的回復(fù)應(yīng)該符合事實(shí)，跟外部知識(shí)源保持一致，而不是一本正經(jīng)的胡說八道。???????

圖1: LaMDA在生成文本在多個(gè)指標(biāo)下有明顯提升

2 LaMDA

Pre-training

LaMDA采用的是純decoder的結(jié)構(gòu)，類似于GPT，使用了46層Transformer，模型參數(shù)量高達(dá)130B，是Meena的50倍。預(yù)訓(xùn)練的任務(wù)是預(yù)測文本中的下一個(gè)token，解碼策略跟Meenay一致，都是從top-40結(jié)果采樣得到16個(gè)候選回復(fù)，再基于候選回復(fù)的對(duì)數(shù)似然得分跟長度選擇最優(yōu)的回復(fù)。不同于此前的對(duì)話模型只在對(duì)話數(shù)據(jù)上訓(xùn)練，LaMDA的預(yù)訓(xùn)練數(shù)據(jù)集包括對(duì)話數(shù)據(jù)（1.12B）和其他web文檔數(shù)據(jù)（2.97B）。

圖2: LaMDA預(yù)訓(xùn)練任務(wù)????

Finetune

LaMDA的finetune包括兩部分，一部分是針對(duì)生成文本質(zhì)量跟安全性，另一部分則是學(xué)習(xí)如何利用外部的信息檢索系統(tǒng)。其中質(zhì)量(SS I)可以從三方面評(píng)估，分別是sensibleness（文本是否合理，跟歷史對(duì)話是否有沖突），Specificity（對(duì)于前文是否有針對(duì)性，避免籠統(tǒng)回復(fù)，例如用戶提問“I love Eurovision”，模型生成一個(gè)籠統(tǒng)回復(fù)“Me too”就不符合預(yù)期），Interestingness（文本是否能引起某人注意或者好奇，是否是超出期待的巧妙回復(fù)）。而安全性（Safety）的目標(biāo)則是要符合谷歌AI的基本原則，避免生成會(huì)造成傷害的不符合預(yù)期的結(jié)果，或者帶有偏見跟歧視。

a)Finetuning for quality and safety

這部分的finetune既包括給定上文生成回復(fù)的生成任務(wù)，也包括評(píng)估回復(fù)質(zhì)量跟安全性的判別式任務(wù)。對(duì)于生成任務(wù)，訓(xùn)練樣本格式由“”（上文，哨兵，回復(fù)）三部分拼接而成，損失只計(jì)算其中response相關(guān)那部分，也就是在給定歷史上文條件下，只計(jì)算模型生成回復(fù)跟期望回復(fù)之間的損失。而對(duì)于判別任務(wù)，訓(xùn)練樣本則是“” （上文，哨兵，回復(fù)，屬性，得分）五部分拼接得到，損失只計(jì)算屬性對(duì)應(yīng)的rating得分損失，也就是在給定歷史上文跟模型回復(fù)條件下，計(jì)算特定屬性下的模型得分跟人工標(biāo)注結(jié)果之間的損失。這種LaMDA同時(shí)用于生成跟判別的設(shè)計(jì)能夠?qū)崿F(xiàn)一個(gè)更佳高效的流程，在生成回復(fù)后，使用判別模型打分時(shí)需要對(duì)應(yīng)指標(biāo)的概率P(|)，而生成模型已經(jīng)處理過了，所以只需要在額外處理少量的跟attribute-name相關(guān)的token即可。

Finetune過程先對(duì)LaMDA的判別任務(wù)進(jìn)行優(yōu)化，使得模型可以預(yù)測候選回復(fù)的質(zhì)量得分跟安全性得分，然后過濾掉安全性得分低于閾值的候選回復(fù)，再根據(jù)質(zhì)量得分對(duì)候選回復(fù)進(jìn)行排序（3*P（sensibleness）+P(specificity)+P(interestingness)），選擇其中得分最高的回復(fù)作為模型生成的結(jié)果。再利用已經(jīng)訓(xùn)練后LaMDA的打分模型，篩選出高質(zhì)量的訓(xùn)練數(shù)據(jù)，用于LaMDA的生成任務(wù)的finetune，使得模型可以生成高質(zhì)量的回復(fù)。根據(jù)下圖也可以看到利用高質(zhì)量數(shù)據(jù)進(jìn)行的finetune讓模型在各方面都有了明顯的提升。

圖3: finetune模型在多個(gè)指標(biāo)上的提升

b)Finetuning to learn to call an external information retrieval system

這部分也稱為Groundedness，針對(duì)語言模型的可能生成看起來可信，但是違背事實(shí)的幻視問題，LaMDA通過學(xué)習(xí)使用利用外部知識(shí)源去緩解這個(gè)問題。LaMDA構(gòu)建一個(gè)包含信息檢索系統(tǒng)，計(jì)算模塊，翻譯模塊的工具（簡稱TS），這部分的finetune也包括兩個(gè)子任務(wù)，第一個(gè)是將歷史上文跟模型回復(fù)一起輸入到模型中，生成對(duì)應(yīng)的檢索query。第二個(gè)子任務(wù)是將歷史上文+模型回復(fù)+檢索結(jié)果一同輸入到模型中，讓模型決定是生成新的檢索query或者生成最終回復(fù)（根據(jù)生成的第一個(gè)字符串決定，如果是TS，則繼續(xù)檢索，如果是User則返回對(duì)應(yīng)結(jié)果）

圖4: LaMDA Search流程?

在具體推理流程中，只用一個(gè)LaMDA模型，但是做了多個(gè)子任務(wù)，具體過程中該執(zhí)行哪個(gè)子任務(wù)，則由當(dāng)前輸入的prompt決定，例如當(dāng)前輸入prompt是LaMDA to user就對(duì)應(yīng)自動(dòng)生成回復(fù)，如果當(dāng)前prompt是LaMDA-Base to LaMDA-Research就對(duì)應(yīng)生成檢索query。

3 總結(jié)

從LaMDA跟后續(xù)的Sparrow，我們也可以看到一些共同點(diǎn)。1)可以使用一個(gè)強(qiáng)大的模型同時(shí)處理多個(gè)不同任務(wù)。????2)finetune階段高質(zhì)量數(shù)據(jù)對(duì)于模型的最終性能影響頗大，為了得到這些高質(zhì)量的數(shù)據(jù)，LaMDA跟Sparrow在搜集finetune數(shù)據(jù)有一套嚴(yán)格的方法論。3) 讓模型學(xué)習(xí)檢索利用外部知識(shí)源，可以緩解模型幻視的問題，讓模型生成結(jié)果更佳有理可依，也讓模型可以回答與時(shí)俱進(jìn)的問題。?????????????4)為生成文本的安全性設(shè)計(jì)額外的子任務(wù)，從而緩解敏感性的問題。LaMDA的成功，依舊貫徹著大力出奇跡的思路，不僅模型的參數(shù)量龐大，預(yù)訓(xùn)練的語料龐大，連finetune階段的人工標(biāo)注數(shù)據(jù)也不是一般人可以承受的。