在前不久落下帷幕的第十六屆國際語義評測比賽（The 16th International Workshop on Semantic Evaluation,SemEval 2022）中，哈工大社會計(jì)算與信息檢索研究中心（HIT-SCIR）與哈工大訊飛聯(lián)合實(shí)驗(yàn)室的聯(lián)合團(tuán)隊(duì)在多語種慣用語識別任務(wù)子賽道SubtaskA（one-shot）中獲得冠軍。本期我們將對這個(gè)任務(wù)的奪冠系統(tǒng)進(jìn)行簡要介紹，更多具體細(xì)節(jié)請參考我們的論文。

論文標(biāo)題：HITat SemEval-2022 Task 2: Pre-trained Language Model for Idioms Detection

論文作者：初征，楊子清，崔一鳴，陳志剛，劉銘

論文鏈接：http://arxiv.org/abs/2204.06145

任務(wù)介紹

Task 2 Subtask A子賽道是跨語言慣用語檢測任務(wù)。任務(wù)給出多種語言的含多字短語的語句，參賽隊(duì)伍需要利用模型判斷目標(biāo)句子中的多字短語的使用方法是慣用語用法 （Idiomatic）還是字面用法（Literal）。任務(wù)共覆蓋三種語言，包括英語、葡萄牙語和加利西亞語。與普通的慣用語檢測任務(wù)相比，該評測更加強(qiáng)調(diào)考察模型的跨語言遷移能力。在zero-shot設(shè)置下，不提供加利西亞語的訓(xùn)練數(shù)據(jù)，需要模型通過英語和葡萄牙語的數(shù)據(jù)集進(jìn)行zero-shot遷移；在one-shot下提供少量加利西亞語的訓(xùn)練數(shù)據(jù)，需要模型具備在不同語言之下良好的few-shot遷移能力。

圖1是任務(wù)數(shù)據(jù)示例。在第一句中，big fish為字面義，表示大魚；第二句中，big fish為隱含義（慣用語），表示大人物。模型需要利用訓(xùn)練數(shù)據(jù)對這兩種用法做出區(qū)分。

圖1：SemEval-2022 Task2 SubtaskA任務(wù)數(shù)據(jù)示例

系統(tǒng)介紹

提交的系統(tǒng)使用XLM-RoBERTa作為編碼器，在預(yù)處理過程中對訓(xùn)練數(shù)據(jù)的慣用語短語（MWE）進(jìn)行特殊標(biāo)記，在訓(xùn)練過程中使用R-Drop作為輔助訓(xùn)練目標(biāo)，在訓(xùn)練結(jié)束后，根據(jù)訓(xùn)練數(shù)據(jù)的統(tǒng)計(jì)信息制定了啟發(fā)式規(guī)則對模型預(yù)測結(jié)果進(jìn)行校正。此外還嘗試了數(shù)據(jù)增強(qiáng)、對比學(xué)習(xí)輔助訓(xùn)練、對抗訓(xùn)練等方法，整體結(jié)構(gòu)如圖2所示：

1. 預(yù)處理：對輸入的樣本進(jìn)行截?cái)?、?biāo)記MWE、數(shù)據(jù)增強(qiáng)等操作。

2. 模型訓(xùn)練：采用XLM-R作為基模型，以cross-entropy損失作為主要訓(xùn)練目標(biāo)，以R-drop等方式優(yōu)化輔助目標(biāo)。

3. 后處理：根據(jù)訓(xùn)練數(shù)據(jù)特征對模型預(yù)測結(jié)果進(jìn)行校正。

下面將針對部分主要優(yōu)化技巧進(jìn)行簡要介紹。

圖2：SemEval-2022 Task2 Subtask A 系統(tǒng)結(jié)構(gòu)

1、數(shù)據(jù)預(yù)處理

數(shù)據(jù)截?cái)啵簽榱吮M可能地減少截?cái)嗨a(chǎn)生的文本信息丟失，在設(shè)定句子最大長度前對長度信息進(jìn)行了統(tǒng)計(jì)，最終確定使用128作為最大長度可保證絕大多數(shù)句子不被截?cái)唷?/p>

短語標(biāo)記：任務(wù)的每一條數(shù)據(jù)提供了目標(biāo)句子中要被預(yù)測的慣用語短語，為了能夠讓模型能夠關(guān)注到慣用語，對句子中的慣用語使用特殊符號進(jìn)行標(biāo)記。例如，包含慣用語bigfish的文本 caught some bigfish along the way 將被標(biāo)記為caught some[SEP] big fish [SEP] along the way。由于預(yù)訓(xùn)練對于命名實(shí)體具有識別能力，而在該任務(wù)的數(shù)據(jù)中，命名實(shí)體幾乎都進(jìn)行首字母大寫變形并且標(biāo)注為非慣用語用法，在后續(xù)的實(shí)驗(yàn)中改善了慣用語標(biāo)注方法，僅標(biāo)注未經(jīng)過變形的慣用語短語。對比實(shí)驗(yàn)結(jié)果如圖3所示，I表示標(biāo)記慣用語，C表示使用上下文文本。對比w/ I 和 w/o I的實(shí)驗(yàn)，可驗(yàn)證這一改動能夠提高性能效果。

上下文信息：此外，我們還發(fā)現(xiàn)，不使用任務(wù)提供的額外上下文文本數(shù)據(jù)，而僅使用包含慣用語的句子（w/o C），能取得更優(yōu)的效果，如圖3第三行所示。原因可能為不包含上下文文本數(shù)據(jù)的短文本能使模型更聚焦于待判別的慣用短語。

圖3: 上下文以及標(biāo)注慣用語對結(jié)果的影響

2、模型訓(xùn)練

訓(xùn)練過程使用XLM-RoBERTa作為編碼器，接池化層和softmax分類器。對不同池化方法進(jìn)行了實(shí)驗(yàn)，結(jié)果表明池化方法對最終結(jié)果沒有顯著影響，為了簡便，使用[SEP]作為句子向量表示。訓(xùn)練過程中嘗試了多種輔助手段，包括R-Drop、對抗訓(xùn)練、數(shù)據(jù)增強(qiáng)、對比學(xué)習(xí)輔助目標(biāo)等。實(shí)驗(yàn)結(jié)果表明，R-Drop以及對抗訓(xùn)練能夠顯著提高模型表現(xiàn)，并且相較于對抗訓(xùn)練，R-Drop能夠取得更大的性能提升，結(jié)果詳見下一節(jié)。

圖4：R-Drop示意圖

3、后處理

在訓(xùn)練結(jié)束后，根據(jù)訓(xùn)練數(shù)據(jù)的分布統(tǒng)計(jì)信息制定了啟發(fā)式規(guī)則。對于在訓(xùn)練集中僅出現(xiàn)過一次的短語，因缺乏不同標(biāo)簽對應(yīng)的訓(xùn)練數(shù)據(jù)，我們采用訓(xùn)練集中僅出現(xiàn)過的標(biāo)簽作為預(yù)測標(biāo)簽，以減少訓(xùn)練集的人工標(biāo)記偏差對結(jié)果的影響。

實(shí)驗(yàn)結(jié)果

模型的最終效果及消融實(shí)驗(yàn)如圖5所示。

圖5：不同方法對結(jié)果的影響

標(biāo)記MWE（mark MWE）可以同時(shí)提升zero-shot和one-shot效果；我們還嘗試了對比學(xué)習(xí)方法，然而在zero-shot和one-shot上均沒有提升；AEDA是一個(gè)簡單的操作標(biāo)點(diǎn)符號的數(shù)據(jù)增強(qiáng)策略，對zero-shot有一定幫助；在兩種提升模型穩(wěn)定性的方法（對抗訓(xùn)練和R-drop）中，R-drop有更好的表現(xiàn)。最后，后處理策略對訓(xùn)練集中出現(xiàn)的偏差做了很好的校正。顯著地提升了效果。

多語種慣用語識別任務(wù)子賽道Subtask A（one-shot）最終榜單：HIT-SCIR與HFL聯(lián)合團(tuán)隊(duì)排名第一

結(jié)論

基于多語言預(yù)訓(xùn)練模型，我們構(gòu)建了一個(gè)多語言慣用語識別系統(tǒng)。通過對輸入格式、模型訓(xùn)練方式、預(yù)測結(jié)果后處理等方面的優(yōu)化，最終系統(tǒng)整體性能較baseline有較為顯著的提升，并在one-shot賽道上取得最優(yōu)成績。在后續(xù)研究中，可嘗試探索如何讓預(yù)訓(xùn)練模型利用訓(xùn)練數(shù)據(jù)之外的語料，如慣用語詞典等，以進(jìn)一步提升預(yù)測效果，并降低對標(biāo)注數(shù)據(jù)資源的需求，發(fā)揮多語言模型的zero-shot能力。

審核編輯 ：李倩