01

研究動機

抱怨是一種表達現(xiàn)實和人類期望之間不一致的言語行為[1]。人們會根據(jù)情況的嚴重性和緊迫性，用抱怨來表達他們的擔憂或不滿。輕微的抱怨可以達到發(fā)泄情緒以促進心理健康的目的，但嚴重的抱怨可能會導(dǎo)致仇恨甚至欺凌行為[2]。之前的研究主要集中在識別抱怨是否存在或其類型上，但是分析抱怨強度尤其重要，因為一定程度的抱怨可能會對公司或組織造成嚴重的負面后果。

圖1 Jin數(shù)據(jù)集中同類別抱怨博文

在計算語言學(xué)中，先前的研究主要集中在建立自動分類模型來識別抱怨是否存在。Jin提供了一個數(shù)據(jù)集，基于語用學(xué)注釋了不同嚴重程度的抱怨博文，分別為“沒有明確的指責”、“反對”、“指責”、“指控”和“責備”[3]。在這些研究中，我們注意到一個缺失的部分是測量抱怨的強度。

為了說明這一點，我們展示了Jin最新數(shù)據(jù)集中的四個例子，如圖1所示：“我能向你抱怨我剛剛收到的咖啡嗎？”和“維珍媒體如往常一樣充滿謊言謊言謊言！?。　?，這兩句話被分為同一類型“指控”，但顯然它們在抱怨的程度上是不同的。另一個例子是，“完全不酷”和“請盡快回復(fù)我的消息?。。　?，這兩句都被歸類為“反對”，然而，后者明顯提出了更強烈的抱怨。

分析不同的抱怨水平是有利的。公司需要定期監(jiān)控來自用戶的反饋，因為某些抱怨可能會嚴重影響其產(chǎn)品的聲譽。組織或政府需要監(jiān)控民眾的抱怨，以了解他們的迫切需求。

02

貢獻

1、我們提出一個新穎的工作：即自動捕捉文本中抱怨強度

2、我們展示了第一個中文抱怨強度數(shù)據(jù)集，包含來自微博平臺的3103條數(shù)據(jù)。

3、通過一系列分析實驗進一步證明研究抱怨強度的必要性和重要性，以及一些有趣的實證發(fā)現(xiàn)。

4、我們展示了我們的數(shù)據(jù)集如何幫助預(yù)測社交媒體上博文的流行度。

03

數(shù)據(jù)標注

在這項工作中，我們使用Louviere and Woodworth（1991）提出的最佳最差比例法（Best-Worst Scaling, BWS）[4]注釋了抱怨強度。這種方法通過相互比較，可以比直接評分產(chǎn)生更穩(wěn)定和細粒度的分數(shù)。類似的方法也被廣泛應(yīng)用于計算語言學(xué)的各種任務(wù)中，例如測量攻擊性，親密度等等。我們通過簡單的計數(shù)百分比統(tǒng)計最終為每個博文分配抱怨強度評分，范圍從-1（最不抱怨）到1（最抱怨）。部分標注結(jié)果如圖2所示：

圖2部分數(shù)據(jù)標注結(jié)果

04

主實驗

我們建立計算模型來預(yù)測一個給定博文的抱怨強度，使用SVR,Bidirectional LSTM,和BERT, RoBERTa等預(yù)訓(xùn)練模型。我們在兩種情況下評估模型的性能：(1)混合話題（Mix Hashtag），我們將來自不同話題的微博博文組合在一起；(2)交叉話題（Cross Hashtag），其中訓(xùn)練、開發(fā)和測試集的博文與不同的話題分開。我們使用皮爾遜相關(guān)性和MSE（均方誤差）作為我們所有實驗的度量標準。實驗結(jié)果如圖3所示：

圖3用于評估預(yù)測抱怨強度的Pearson系數(shù)的r和均方誤差(MSE)

05

分析實驗

抱怨和情緒之間的差異

我們注意到更強烈的抱怨似乎與消極詞匯有關(guān)。先前的研究也指出，抱怨可以被視為一個有影響的情感維度[2].我們展示在標準情緒數(shù)據(jù)集上訓(xùn)練的模型在我們的抱怨強度預(yù)測任務(wù)中表現(xiàn)情況，如圖4所示，使用來自情緒模型的概率分數(shù)在我們的抱怨強度預(yù)測任務(wù)中表現(xiàn)出不錯的表現(xiàn)，這表明了抱怨和情緒之間的明確聯(lián)系。同時在我們的標注語料庫上訓(xùn)練的模型優(yōu)于情緒模型，這證明了我們的工作的必要性。

圖4抱怨強度預(yù)測任務(wù)中情緒模型和抱怨模型的表現(xiàn)

抱怨可以加強情感分析任務(wù)

我們將抱怨分數(shù)作為一個附加的特性輸入被添加到模型中。從圖5中，我們觀察到具有抱怨特征的模型比原始模型表現(xiàn)得更好。表明一個簡單的附加組件可以提高非神經(jīng)模型和傳統(tǒng)神經(jīng)模型的情緒分類預(yù)測精度，分析抱怨可以有助于二元情感分析任務(wù)。

圖5二元情緒預(yù)測的結(jié)果（顯著性測試p-vlaue < 0.01, t-test）

06

跨語言分析

我們最新收集的抱怨強度數(shù)據(jù)集是中文的，而當前現(xiàn)有的數(shù)據(jù)集包含英文推文。這為我們提供了一個機會來了解在社交媒體上使用中文和英語的人在抱怨上的語言差異。

（1）直接和間接抱怨：中文博文中80%為間接抱怨；相反，英文推文91%的都是直接抱怨。

（2）策略：圖6顯示了不同語言的策略有所不同。我們發(fā)現(xiàn)，中文使用者更傾向于不補償策略，而英文使用者最常用的策略是補償策略。

圖6跨語言分析中不同策略所占百分比。

（3）諷刺：10%的中文數(shù)據(jù)包含諷刺，26%的英文數(shù)據(jù)包含諷刺。圖7展示了詞性分析，中文諷刺表達中名詞比例最高，其次是動詞；而在英文諷刺表達中，動詞最多，其次是名詞。此外，英語中的形容詞和副詞比中文的要多。

圖7跨語言分析的POS標簽的百分比

07

預(yù)測博文流行度

我們設(shè)想將抱怨強度分數(shù)納入現(xiàn)有的社交媒體監(jiān)控系統(tǒng)中，以提高它們的預(yù)測準確性，證明了來自我們的計算模型的抱怨強度得分可以幫助估計社交媒體上的帖子流行度。

我們遵循Szabo的流行度計算方法[5]，使用早期流行度進行預(yù)測的基線，為了顯示我們的抱怨分數(shù)的有效性，我們添加了抱怨強度作為一個新的術(shù)語來估計最終的對數(shù)流行度，公式如下所示：

圖8顯示，我們結(jié)合了抱怨密度的方法優(yōu)于基線方法。

圖8 RMSE和MAE的流行度預(yù)測

我們還展示了隨時間變化的單一話題下的流行度預(yù)測，如圖9所示。我們觀察到，增加了抱怨分數(shù)有助于更好地估計發(fā)布后的流行度，特別是在早期階段。這可能是因為抱怨可能會吸引用戶的注意力，以便參與討論，從而提高活動的流行度。

圖9比較實際的博文流行度和對單一話題的流行度預(yù)測

08

總結(jié)

我們提出了第一個測量文本抱怨強度的研究。我們構(gòu)建了一個包含3103篇關(guān)于抱怨的中國微博文章的語料庫，并使用BWS方法標注了抱怨強度評分。然后，我們證明了我們的語料庫支持自動計算模型的發(fā)展，以準確的抱怨強度預(yù)測。此外，我們還研究了抱怨與情緒之間的聯(lián)系，并對中文和英文之間的抱怨表達進行了跨語言比較。我們最終證明，我們的抱怨強度得分有助于更好地估計社交媒體上的博文的流行度。

審核編輯：劉清