具有語言能力的深度學習系統(tǒng)已經(jīng)廣泛應用于人們的生活當中。其中一些系統(tǒng)使用了 Google 發(fā)布的特定深度學習模型 —— 多語言 BERT（Multilingual BERT，簡稱 mBERT）。mBERT 模型可以同時接受大約 100 種語言的訓練，這種多語言的訓練使模型可以完成各種語言任務，例如，將文本內(nèi)容從一種語言翻譯成另一種語言。

雖然已經(jīng)發(fā)現(xiàn) mBERT 模型在許多語言任務中表現(xiàn)良好，但是

人們對 mBERT 模型 “如何創(chuàng)建文本并如何做出預測” 的相關(guān)信息并不清楚。

為此，來自斯坦福大學、加州大學歐文分校和加州大學圣巴巴拉分校的研究人員聯(lián)合開展了一項新的研究，研究目的是為了更好地理解基于 mBERT 模型的技術(shù)是如何運行的，以及它是如何創(chuàng)建語法特征的。

相關(guān)研究結(jié)果以 “Deep Subjecthood： Higher-Order Grammatical Features in Multilingual BERT” 為題，已發(fā)表在論文預印本網(wǎng)站 arXiv 上。該論文為這些常用模型的基礎以及它們在完成各種任務時如何分析語言提供了寶貴的線索。

神秘莫測的 mBERT 模型

在過去的幾十年中，研究人員開發(fā)了基于深度神經(jīng)網(wǎng)絡的模型，它們可以完成各種各樣的任務。其中一些技術(shù)專門設計用于處理和生成多種語言的連貫文本、翻譯文本，并可以回答有關(guān)文本的問題，以及創(chuàng)建新聞文章或其他在線內(nèi)容的摘要。

比較典型的代表是 Siri、Alexa、Bixby、Google Assistant 和 Cortana 等應用程序，這些程序為實時翻譯、分析文本提供了極大的便利。

而這些應用程序大部分采用了 Google 發(fā)布的 mBERT 模型，用戶可以使用多種語言（比如英語、西班牙語、法語、巴斯克語和印尼語等）與基于 mBERT 的系統(tǒng)進行交互。

雖然像 mBERT 這樣的模型非常強大，但是與經(jīng)過預先訓練的深度學習模型不同，它們實際上包含的信息并不明顯，甚至對它們的創(chuàng)造者來說也是如此。

這是由于這些模型是經(jīng)過訓練的，而不是經(jīng)過編程得到的。因此，探究 mBERT 模型的工作原理，成為了許多使用者關(guān)心的問題 。理解 mBERT 模型如何對語言進行編碼與嘗試理解人類如何處理語言并沒有太大不同。

此次研究的主要目的是，確定 mBERT 矢量模型是否包含關(guān)于人類語言及其結(jié)構(gòu)的一些更深層次的信息。更具體地說，他們想確定這些模型，是否能夠自動地揭示幾十年來語言學研究已經(jīng)確定的概括，這些概括信息對語言分析來講是十分有用的。

致力于理解 mBERT 模型

本質(zhì)上，mBERT 模型將文本表示為一系列矢量，每個矢量包含數(shù)千個數(shù)字。每個矢量都對應一個單詞，而單詞之間的關(guān)系則被編碼為高維空間的幾何關(guān)系。

加州大學圣巴巴拉分校的語言學家、指導這項研究的高級研究員之一 Kyle Mahowald 表示：“由于這些模型在處理人類語言方面做得很好，因此我們知道這些數(shù)字向量一定代表了語言知識。但是它們是如何編碼這些信息的，這與人類大腦中知識的表達方式有什么相似之處？我們的工作是努力理解語言的深層神經(jīng)模型表示和使用語言信息的方式的一部分?！?/p>

加州大學歐文分校的語言科學家、該項目的另一位高級顧問 Richard Futrell 說：“這是研究計算語言學特別令人興奮的時刻。多年來，語言學家一直在談論諸如‘語義空間（semantic space）’之類的概念，認為單詞和短語的意義是某個空間中的點，但這都顯得有點模糊和印象主義。如今，這些理論已經(jīng)變得非常精確：我們實際上有一個模型，其中一個單詞的含義是空間中的某一個點，并且這個模型確實以一種暗示其理解某些人類語言的方式表現(xiàn)?！?/p>

為了處理人類語言，在深入分析人類語言之后，mBERT 模型和其他基于深度學習的語言分析框架，實際上可能已經(jīng)重新發(fā)現(xiàn)了語言學研究者在深入分析人類語言之后所設計的理論。或者，它們可能基于全新的語言理論或規(guī)則進行預測。

對此，Mahowald 和他的同事們希望進一步探索這兩種可能性，因為理解這些計算技術(shù)如何對語言進行編碼可能對計算機科學和語言學的研究具有重要的意義。

Futrell 說：“了解這些模型的工作原理，即它們學到了什么信息以及如何使用這些信息，不僅在科學上很有趣，而且也對于我們想要開發(fā)可以使用和信任的 AI 系統(tǒng)至關(guān)重要。如果我們不知道語言模型知道什么，那么我們就不能相信它會做正確的事。也就是說，我們不相信它的翻譯是正確的或者它的總結(jié)是準確的，我們也不能相信它沒有學到種族或性別偏見等不良信息?！?/p>

由于 mBERT 模型通常是在人類編譯的數(shù)據(jù)集中進行訓練的，因此它們可能會發(fā)現(xiàn)一些人類在處理與語言相關(guān)的問題時常犯的一些錯誤。這項由多學科團隊進行的研究可能有助于發(fā)現(xiàn) AI 工具在分析語言時所犯的一些錯誤和其他錯誤。

識別不同語言的主語和賓語

為了更加深入地理解 mBERT 模型，研究人員著手研究 mBERT 模型如何代表不同語言中主語和賓語之間的差異。

Mahowald 說：“當在 mBERT 中輸入一個句子時，每個單詞都會得到一個矢量表示。我們建立了一個新模型，這個模型比 mBERT 要小得多，然后我們問：如果我們從 mBERT 得到一個單詞矢量，這個模型能告訴我們它是一個主語還是賓語嗎？也就是說，該模型能否告訴我們，‘狗’這個字用法是不是句子的主語，就像‘狗追貓’中那樣，或句子的賓語，如‘貓追狗’?！?/p>

人們可能會假設所有語言都描述了主語和賓語的關(guān)系，并且它們以相似的方式表示。但是，在不同的語言中，主語和賓語的構(gòu)成實際上存在巨大的差異。

該論文的作者之一、斯坦福大學計算機科學專業(yè)的研究生 Isabel Papadimitriou 和她的同事們試圖利用這些差異來更好地理解 mBERT 模型是如何處理句子。

Papadimitriou 說：“如果人們使用英語，那么‘狗追貓’中的‘狗’字似乎與‘狗跑了’中的‘狗’字扮演相同的成分。在第一種情況下，動詞有賓語‘貓’，在第二種情況下，它沒有賓語。但在兩種情況下，‘狗’是主語、主體、行為者，而在第一句中，‘貓’是賓語，是正在做的事情。但是，并非所有語言都如此?！?/p>

圖 | 研究過程說明

英語和歐洲人所說的大多數(shù)語言，都有一種被稱為主格對齊的結(jié)構(gòu)，這種結(jié)構(gòu)清楚地描述了句子中的主語和賓語。

但是，包括巴斯克語，北印度語和格魯吉亞語在內(nèi)的語言，使用的是一種代名詞對齊。在代名詞對齊中，在沒有賓語的句子中，主語在某種意義上被視為賓語，因為它遵循用于賓語的語法結(jié)構(gòu)。例如，句子 “狗在奔跑” 中的 “狗” 字某種程度上即是主語也是賓語。

Papadimitriou 說：“我們工作的主要目標是測試 mBERT 是否理解這種對齊、代名詞或主語的概念。換句話說，我們問：mBERT 能否深入理解動詞的主語和賓語是什么構(gòu)成的，以及不同的語言如何將空間分割成主語和賓語？事實證明，同時接受大約 100 種語言培訓的 mBERT 會以有趣的語言方式意識到這些區(qū)別?！?/p>

機器可以理解人類語言

這些發(fā)現(xiàn)為 mBERT 模型以及其他用于語言分析的計算模型如何表示語法信息提供了新的有趣見解。有趣的是，研究人員研究的基于 mBERT 向量表示的檢驗模型也發(fā)現(xiàn)會產(chǎn)生一致的錯誤，這些錯誤可能與處理語言的人類所犯的錯誤一致。

Papadimitriou 說：“在不同的語言中，當一個主語是一個無生命的名詞時，我們的模型更有可能錯誤地將該主體稱為主語，這意味著該名詞不是人類或動物。這是因為句子中的大多數(shù)行為者往往是有生命的名詞：人類或動物。實際上，一些語言學家認為主觀性實際上是一個范圍。與人類相比，作為人類的受試者比作為動物的受試者更‘主觀’，作為動物的受試者比既不是人類也不是動物的受試者更‘主觀’，這正是我們在 mBERT 模型中發(fā)現(xiàn)的。”

總體而言，研究表明 mBERT 模型可以識別句子中的主語和賓語，并以與現(xiàn)有語言學文獻一致的方式表示兩者之間的關(guān)系。

在未來，這一重要發(fā)現(xiàn)可以幫助計算機科學家更好地理解深度學習技術(shù)是如何處理人類語言的，從而幫助他們進一步提高性能。

Mahowald 表示：“我們現(xiàn)在希望繼續(xù)探索語言的深層神經(jīng)模型，在它們的連續(xù)向量空間中表示語言類別（如主語和賓語）的方式。具體來說，我們認為語言學的工作可以告訴我們?nèi)绾慰创@些模型以及它們在做什么，語言學的工作試圖將主語和賓語等角色描述為一組特征，而不是離散的類別?！?/p>

參考資料：https://arxiv.org/abs/2101.11043v1
責編AJX