導(dǎo)讀

NLP遷移學(xué)習(xí)中的一些問(wèn)題，感覺(jué)有點(diǎn)道理。

自然語(yǔ)言處理(NLP)最近取得了巨大的進(jìn)步，每隔幾天就會(huì)發(fā)布最新的結(jié)果。排行榜瘋狂是指最常見(jiàn)的NLP基準(zhǔn)，如GLUE和SUPERGLUE，它們的得分越來(lái)越接近人類的水平。這些結(jié)果大多是通過(guò)超大(數(shù)十億個(gè)參數(shù))模型從大規(guī)模數(shù)據(jù)集中遷移學(xué)習(xí)得到的。本文的目的是指出遷移學(xué)習(xí)面臨的問(wèn)題和挑戰(zhàn)，并提出一些可能的解決方法。

計(jì)算量

目前NLP中最成功的遷移學(xué)習(xí)形式是序列遷移學(xué)習(xí)(STL)，通常采用語(yǔ)言預(yù)訓(xùn)練的形式(https://arxiv.org/abs/1801.06146)。最近幾乎所有的SOTA結(jié)果主要是由兩步方案驅(qū)動(dòng)的：

大型通用語(yǔ)料庫(kù)上進(jìn)行語(yǔ)言模型的建模(數(shù)據(jù)越多越好)。

Finetune目標(biāo)任務(wù)上的模型(或其子集)。

ELMO, BERT, GPT, GPT-2, XLNET and RoBERTa是都是用的同樣的技術(shù)。這些方法的一個(gè)主要問(wèn)題是巨大的資源需求。我所說(shuō)的資源是指數(shù)據(jù)和計(jì)算能力。例如，據(jù)估計(jì)，在512個(gè)TPU v3芯片上訓(xùn)練XLNET大約需要25萬(wàn)美元，相比于在3/4的數(shù)據(jù)集中訓(xùn)練的BERT，只提升了1-2%。

這就引出了下一個(gè)問(wèn)題：

難以復(fù)現(xiàn)

可復(fù)現(xiàn)性已經(jīng)成為機(jī)器學(xué)習(xí)研究中的一個(gè)問(wèn)題。例如，Dacrema et al.)分析了18個(gè)不同的基于神經(jīng)的推薦系統(tǒng)，發(fā)現(xiàn)其中只有7個(gè)經(jīng)過(guò)合理的努力是可復(fù)現(xiàn)的。一般來(lái)說(shuō)，為了能夠使用或建立在一個(gè)特定的研究理念，這個(gè)理念必須易于復(fù)現(xiàn)。由于需要大量的計(jì)算資源來(lái)訓(xùn)練這些巨大的NLP模型并復(fù)現(xiàn)它們的結(jié)果，小型科技公司、初創(chuàng)公司、研究實(shí)驗(yàn)室和獨(dú)立研究人員將無(wú)法競(jìng)爭(zhēng)。

不再需要排行榜的任務(wù)

Anna Rogers在她的博客文章為什么“更多的數(shù)據(jù)和計(jì)算= SOTA”不是研究新聞。她認(rèn)為，排行榜的主要問(wèn)題在于，一個(gè)模型的排名完全取決于它的任務(wù)分?jǐn)?shù)，而沒(méi)有考慮到達(dá)到這個(gè)分?jǐn)?shù)所需的數(shù)據(jù)量、計(jì)算量或訓(xùn)練時(shí)間。

Rohit Pgarg建議在任務(wù)精度和計(jì)算資源的二維尺度上比較模型的性能。請(qǐng)看下面的圖表。我建議我們添加另一個(gè)維度，它對(duì)應(yīng)于模型訓(xùn)練時(shí)候的數(shù)據(jù)量。但是，這種可視化并不能洞察哪種模型通常更好。還有Alexandr Savinov的一個(gè)非常有趣的評(píng)論，他建議使用算法能夠在一單位CPU時(shí)間內(nèi)將多少輸入信息“打包”到一單位輸出(模型參數(shù))表示中。

在比較模型性能時(shí)，使用計(jì)算資源作為任務(wù)準(zhǔn)確性的額外度量

這不像是我們學(xué)習(xí)的方式

孩子們通過(guò)嘈雜、模糊的輸入和極少的監(jiān)督來(lái)學(xué)習(xí)語(yǔ)言。一個(gè)孩子只要接觸一個(gè)單詞幾次，就能開(kāi)始理解它的意思。這與STL設(shè)置中使用的訓(xùn)練前步驟非常不同，在STL設(shè)置中，模型需要查看數(shù)百萬(wàn)個(gè)上下文，其中包括一個(gè)特定的單詞，以掌握該單詞的含義。一個(gè)非常重要的問(wèn)題是，是否可以只從原始文本中學(xué)習(xí)語(yǔ)義而不受任何外部監(jiān)督。如果你對(duì)關(guān)于這個(gè)話題的twitter辯論感興趣，請(qǐng)?jiān)L問(wèn)這個(gè)帖子：https://twitter.com/jacobandreas/status/1023246560082063366。如果答案是否定的，那就意味著在訓(xùn)練前，這些模型實(shí)際上并沒(méi)有給他們真正的語(yǔ)言理解能力。然而，我們?cè)谌粘Ｉ钪写_實(shí)使用了遷移學(xué)習(xí)。例如，如果我們知道如何駕駛一輛手動(dòng)汽車，我們就很容易利用所學(xué)的知識(shí)(如使用剎車和油門踏板)來(lái)駕駛一輛自動(dòng)汽車。但這是人類學(xué)習(xí)語(yǔ)言的必經(jīng)之路嗎？不太可能。然而，有人可能會(huì)說(shuō)，只要一種方法能產(chǎn)生好的結(jié)果，它是否與人類的學(xué)習(xí)方式相似實(shí)際上并不重要。不幸的是，這些模型產(chǎn)生的一些好的結(jié)果是有問(wèn)題的，我們將在下一節(jié)看到。

從另一個(gè)角度來(lái)看，人類在語(yǔ)言學(xué)習(xí)上采取了一種持續(xù)終生的學(xué)習(xí)方式。每當(dāng)我們學(xué)習(xí)一個(gè)新任務(wù)時(shí)，這種學(xué)習(xí)通常不會(huì)干擾之前學(xué)習(xí)過(guò)的任務(wù)。另一方面，當(dāng)新的訓(xùn)練數(shù)據(jù)的分布發(fā)生變化的時(shí)候，普通的只在一個(gè)任務(wù)上訓(xùn)練過(guò)的機(jī)器學(xué)習(xí)模型(包括遷移學(xué)習(xí)方法)通常不能利用過(guò)去學(xué)到知識(shí)，這種現(xiàn)象稱為災(zāi)難性的遺忘。

膚淺的語(yǔ)言理解

語(yǔ)言建模任務(wù)的確是一個(gè)復(fù)雜的任務(wù)。例如這個(gè)句子：“The man in the red shirt is running fast. He must be…”，為了讓模型完成這句話，模型必須理解running fast通常意味著being in a hurry。那么這些預(yù)先訓(xùn)練過(guò)的模型到底能理解多少語(yǔ)言呢？不幸的是，事實(shí)并非如此。Niven et al.， 2019分析了BERT在論證推理和理解任務(wù)(ARCT)上的表現(xiàn)。ARCT可以這樣描述：給定一個(gè)聲明和一個(gè)推理，任務(wù)是選擇正確的證據(jù)，而不是另一個(gè)干擾項(xiàng)。正確的證明應(yīng)符合，而其他證明應(yīng)符合。參見(jiàn)下圖。

論證和理解任務(wù)的范例

值得一提的是，BERT在這項(xiàng)任務(wù)中獲得了極具競(jìng)爭(zhēng)力的77%的準(zhǔn)確性，僅比人類基線低3分。首先，這說(shuō)明BERT有很強(qiáng)的推理能力。為了進(jìn)一步調(diào)查，Niven et al.， 2019使用了所謂的“探針”。也就是說(shuō)，他們?cè)谶@個(gè)任務(wù)上對(duì)BERT進(jìn)行了finetune，但是對(duì)BERT的輸入只是正確的和可選的證據(jù)，而沒(méi)有暴露它的聲明或推理。假設(shè)是，如果BERT依賴證據(jù)中的一些統(tǒng)計(jì)線索，即使他只看到證據(jù)而沒(méi)有其他信息，他也應(yīng)該表現(xiàn)良好。有趣的是，他們的研究結(jié)果顯示，與使用推理和聲明相比，他們的準(zhǔn)確率僅下降了6%。這表明，BERT實(shí)際上并沒(méi)有進(jìn)行任何類型的推理，但證明本身有足夠的線索，使BERT能夠達(dá)到如此高的準(zhǔn)確性。值得注意的是，用一個(gè)沒(méi)有BERT所依賴的這些線索的對(duì)抗性的測(cè)試集代替了這個(gè)測(cè)試集，BERT只能達(dá)到53%的正確率，剛好高于隨機(jī)概率。

另一篇相關(guān)論文是“Can a Machine Really Finish your Sentence?”(Zellers et al.， 2019)。他們考慮的是常識(shí)自然語(yǔ)言推理的任務(wù)，即機(jī)器應(yīng)該選擇最可能的后續(xù)語(yǔ)句。例如，給定句子：“the team played so well”，系統(tǒng)應(yīng)該選擇“They won the game”作為后續(xù)。作者認(rèn)為，盡管BERT能夠達(dá)到86%的正確率(僅比人類基線低2點(diǎn))，如此高的正確率并不是由于BERT的高級(jí)推理形式，而是由于BERT學(xué)會(huì)了識(shí)別數(shù)據(jù)集特有的分布偏差。他們發(fā)現(xiàn)，通過(guò)對(duì)抗性篩選(一種旨在為任何可能的訓(xùn)練、測(cè)試分割生成對(duì)抗性數(shù)據(jù)集的技術(shù))創(chuàng)建一個(gè)更困難的數(shù)據(jù)集(HellaSwag)， BERT準(zhǔn)確率下降到53%。本文討論了數(shù)據(jù)集性能和任務(wù)性能之間的細(xì)微差別。對(duì)特定任務(wù)的數(shù)據(jù)集執(zhí)行得非常好并不意味著解決了底層任務(wù)。

BERT在SWAG上的表現(xiàn)與HellaSwag相比

很明顯，這里發(fā)生了一些事情。是否可能BERT的好結(jié)果實(shí)際上是由它利用各種分布線索和偏差劫持目標(biāo)數(shù)據(jù)集的能力驅(qū)動(dòng)的?對(duì)BERT的研究結(jié)果進(jìn)行更多的調(diào)查能得出其他類似的發(fā)現(xiàn)和結(jié)論嗎?如果是這樣，我相信我們不僅需要建立更好的模型，還需要建立更好的數(shù)據(jù)集。我們需要的數(shù)據(jù)集能夠真實(shí)地反映底層任務(wù)的困難，而不是讓模型很容易達(dá)到欺騙的準(zhǔn)確性和排行榜分?jǐn)?shù)。

高碳不環(huán)保

信不信由你，但是訓(xùn)練這些壯觀的模型對(duì)環(huán)境有負(fù)面影響。Strubell等人比較了訓(xùn)練大型Transformer架構(gòu)產(chǎn)生的 排放與其他來(lái)源造成的排放。令人驚訝的是，使用神經(jīng)結(jié)構(gòu)搜索訓(xùn)練單個(gè)Transformer arhcitectue所釋放的 大約是一輛汽車一生所釋放的 的6.0倍。

Schwartz等人介紹了他們所謂的“綠色人工智能”，這是一種實(shí)踐，使人工智能更加“高效”和“包容”。與我們上面討論的類似，他們強(qiáng)烈建議除了任務(wù)準(zhǔn)確性之外，還應(yīng)該增加效率。他們還認(rèn)為，研究論文有必要包括“價(jià)格標(biāo)簽”或模型訓(xùn)練的成本。這將鼓勵(lì)對(duì)更高效、更少資源需求的模型架構(gòu)的研究。