在基于實例的機器翻譯中，句子相似度計算是實例匹配的有效機制。該文對基于相同詞的句子相似模型作進一步的改進，包括關(guān)鍵詞抽取，以及在句子相似度的定義中引入同義詞的情形。實驗結(jié)果表明，改進方法比原方法具有較高的準確率。
關(guān) 鍵 詞 自然語言處理; 基于實例的機器翻譯; 句子相似度; 基于詞

基于實例的機器翻譯(Example Based Machine Translation，EBMT)是以雙語對齊的實例庫為主要知識源，輸入一個待翻譯的源語言句子，從實例庫中查找與輸入句最相似的例句，再模仿例句的譯文來實現(xiàn)輸入句的翻譯。在EBMT中，實例匹配是關(guān)鍵，直接關(guān)系到系統(tǒng)本身的翻譯質(zhì)量。實現(xiàn)實例匹配的有效機制是進行句子相似度計算[1-2]，目前主要有基于詞[3-5]和基于句法語義分析[6-7]的兩類方法。兩類方法各有優(yōu)缺點，基于詞的方法簡單、流行，但由于僅利用句子的表層信息，即組成句子的有關(guān)詞匯的詞法和語義信息，因此，在判斷句子整體結(jié)構(gòu)相似方面有欠缺；基于句法語義分析的方法折衷考慮句子的組成詞匯語義信息與整體框架結(jié)構(gòu)信息，但在折衷考慮的層次上較難把握。本文研究基于詞的句子相似度計算問題，并在文獻[5]的基礎(chǔ)上提出了一種改進的方法。
1 基于詞的句子相似度計算
基于詞的方法是目前最簡單、最流行的方法，依據(jù)詞的形態(tài)變化、同義詞、反義詞以及更進一步的語義距離來判斷孤立詞之間的相似度，再通過這種詞間相似度的不同組合來確定句子間的相似度。文獻[3]利用同義詞表計算兩句詞之間的語義距離，進而計算兩句之間的相似度。文獻[4]通過正反雙向比較兩句相同詞的個數(shù)及其位置關(guān)系，得到一個轉(zhuǎn)換表達式和子塊庫，再通過系統(tǒng)預(yù)定義的翻譯模式和限制條件實現(xiàn)兩句相似度的計算。文獻[5]通過比較兩句相同詞的個數(shù)及其位置關(guān)系，得到兩句的詞形相似度和詞序相似度，再通過詞形相似度和詞序相似度計算兩句的相似度。
文獻[4-5]采用的方法實質(zhì)上是相同的，均通過比較相同詞的個數(shù)及其位置關(guān)系來計算兩句的相似度。但在相似度的定義中，僅考慮了形態(tài)上相同的詞，而沒有考慮同義詞的情形。例如，對兩個簡單的句子“我/ 是/ 老師/ 。/”與“他/ 為/ 學生/。/”，按照文獻[5]中的方法計算則相似度很低(只有0.1)，實際上這兩句是比較相似的。究其原因，主要是沒有考慮兩句中的同義詞“是”和“為”。另外，也沒有考慮任何句法結(jié)構(gòu)信息。因此，在算法實現(xiàn)上雖然較為簡單，但準確率卻不高?；谠~的方法依據(jù)句子的表層信息，通過對這些表層信息的加工也可以獲得一些有用的句法結(jié)構(gòu)信息，如抽取一些能夠近似表達部分句法結(jié)構(gòu)信息的關(guān)鍵性的詞(以下簡稱關(guān)鍵詞)。在此基礎(chǔ)上進行句子相似度計算，就會具有較高的準確率。本文針對以上兩點作了進一步的改進。
2 一種改進的方法
本文對文獻[5]中的句子相似模型作了進一步改進，包括關(guān)鍵詞抽取，以及在句子相似度的定義中考慮同義詞的情形。令inp為待翻譯的輸入句，exa為對應(yīng)的m個例句中的一個，先分別抽取inp和exa中所有的名詞、代詞、動詞或形容詞，并組成相應(yīng)的關(guān)鍵詞序列，再求出inp和exa中關(guān)鍵詞序列的相似度，最后選取大于規(guī)定閾值的最大相似度例句作為輸入句的最相似例句。
2.1 關(guān)鍵詞抽取
由語言學知識可知，任何句子都是由關(guān)鍵成分(主、謂、賓等)和修飾成分(定、狀、補等)構(gòu)成的。關(guān)鍵成分對句子起主要作用，修飾成分對句子起次要作用。進行句子相似度計算時，只要考慮句中的關(guān)鍵成分?；谠~的方法不考慮句法結(jié)構(gòu)分析，因此，不能確定句子的內(nèi)部成分，包括關(guān)鍵成分和修飾成分。在通常情況下，一個句子中作主語和賓語的多為名詞或代詞，作謂語的多為動詞或形容詞。因此，可以將一個句子中的所有名詞、代詞、動詞和形容詞作為關(guān)鍵詞，并在計算句子相似度時只考慮這些關(guān)鍵詞。例如，句子“我/ 當然/ 愿意/ 了解/ 她們/ 的/ 要求/ 。/”的關(guān)鍵詞序列為 “我/ 愿意/ 了解/ 她們/ 要求/ 。/”。對于特定句中的某個名詞、代詞、動詞或形容詞，不一定就是該句中的主語、賓語或謂語成分，但相對于句中所有的詞構(gòu)成的詞序列而言，關(guān)鍵詞序列卻具有一定的句法結(jié)構(gòu)信息表達能力，至少可以了解句子中的哪些詞在組成句子框架結(jié)構(gòu)方面是比較重要的。在此基礎(chǔ)上進行相似度計算，比一般基于詞的方法準確一些。