本文是一個(gè)自然語(yǔ)言處理資源索引，涵蓋了目前NLP領(lǐng)域常用任務(wù)的最佳實(shí)驗(yàn) 結(jié)果和數(shù)據(jù)集資源，可以作為進(jìn)一步從事NLP研究的基礎(chǔ)。讀者也可以自行在Github頁(yè)面上添加新的結(jié)果，本文中大部分為英文NLP資源，還有少數(shù)漢語(yǔ)、印地語(yǔ)和越南語(yǔ)資源。

本文實(shí)際上是一個(gè)索引，旨在記錄自然語(yǔ)言處理（NLP）領(lǐng)域的新進(jìn)展，并概述最常見(jiàn)的NLP任務(wù)及其相應(yīng)數(shù)據(jù)集的新技術(shù)。

這篇索引旨在涵蓋主要的傳統(tǒng)和核心NLP任務(wù)，如語(yǔ)義依賴(lài)性解析和詞性標(biāo)注等，以及最近不斷取得新突破的任務(wù)，比如閱讀理解和自然語(yǔ)言推理。本文主要目標(biāo)是為感興趣的讀者提供關(guān)于NLP基準(zhǔn)數(shù)據(jù)集的快速概覽，以及最新技術(shù)的進(jìn)展，這些數(shù)據(jù)集和新進(jìn)展可以作為進(jìn)一步NLP研究的基礎(chǔ)。

因此，本文有意將這些NLP領(lǐng)域的新研究進(jìn)展做一個(gè)簡(jiǎn)單匯總，便于研究人員集中查閱參考。

讀者也可以通過(guò)瀏覽器訪問(wèn)nlpprogress.com或nlpsota.com來(lái)閱讀本文。

簡(jiǎn)易使用指南

實(shí)驗(yàn)結(jié)果

本文首選在已發(fā)表的論文中的實(shí)驗(yàn)結(jié)果，但對(duì)少數(shù)影響力很大的預(yù)印本論文也可能入選。

數(shù)據(jù)集

本文中收錄的數(shù)據(jù)集，除了利用該數(shù)據(jù)集的論文之外，還應(yīng)經(jīng)過(guò)至少一篇已發(fā)表的其他論文的評(píng)估。

代碼

我們建議添加指向?qū)崿F(xiàn)的鏈接（如果可用）。如果代碼不存在，您可以向表中添加代碼列（見(jiàn)下文）。在Code列，建議使用官方實(shí)現(xiàn)。如果有非官方實(shí)現(xiàn)，請(qǐng)使用鏈接（見(jiàn)下文）。如果沒(méi)有可用的實(shí)現(xiàn)，可以將單元格留空。

向本索引中添加新結(jié)果

如果要添加新結(jié)果，只需單擊文件右上角的小編輯按鈕以執(zhí)行相應(yīng)任務(wù)（如下圖所示）。

讀者可以在Markdown中編輯文件。只需以相同的格式將一行添加到相應(yīng)的表中即可。確保表格中數(shù)據(jù)排序正確（將最佳結(jié)果位于頂部）。完成更改后，單擊頁(yè)面頂部的“預(yù)覽更改”選項(xiàng)卡，確保表格看起來(lái)還不錯(cuò)。如果一切看起來(lái)都OK，請(qǐng)轉(zhuǎn)到頁(yè)面底部確認(rèn)更改。

此處需要為建議更改添加名稱(chēng)，可以選擇添加說(shuō)明文字，可以選擇“創(chuàng)建新分支并啟動(dòng)拉取請(qǐng)求”，然后單擊“提交更改”。

具體索引內(nèi)容和研究領(lǐng)域如下，絕大部分為英語(yǔ)，有少量資源為漢語(yǔ)、印地語(yǔ)和越南語(yǔ)。

英語(yǔ)

自動(dòng)語(yǔ)音識(shí)別

CCG超級(jí)標(biāo)準(zhǔn)

常識(shí)

選區(qū)解析

共同決議

依賴(lài)解析

對(duì)話(huà)

域適應(yīng)

實(shí)體鏈接

語(yǔ)法糾錯(cuò)

信息提取

語(yǔ)言建模

詞匯規(guī)范化

機(jī)器翻譯

多任務(wù)學(xué)習(xí)

多模態(tài)

命名實(shí)體識(shí)別

自然語(yǔ)言推理

詞性標(biāo)注

問(wèn)答

關(guān)系預(yù)測(cè)

關(guān)系提取

語(yǔ)義文本相似度

語(yǔ)義解析

語(yǔ)義角色標(biāo)記

情緒分析

淺語(yǔ)法

簡(jiǎn)單化

狀態(tài)檢測(cè)

概要

分類(lèi)學(xué)習(xí)

時(shí)間處理

文字分類(lèi)

詞義消歧

中文

實(shí)體鏈接

中文詞匯分割

印地語(yǔ)

分塊

詞性標(biāo)注

機(jī)器翻譯

越南語(yǔ)

依賴(lài)解析

機(jī)器翻譯

命名實(shí)體識(shí)別

詞性標(biāo)注

分詞

最后以”中文-詞匯分割”子類(lèi)目為例，簡(jiǎn)單說(shuō)明這個(gè)索引資源的呈現(xiàn)方式。

點(diǎn)擊相應(yīng)鏈接進(jìn)入，首先是中文詞匯分割這個(gè)任務(wù)的簡(jiǎn)要介紹。

下面列出了不同作者建立的基于不同搜索方式的單詞分割模型，以及相應(yīng)模型的發(fā)表時(shí)間。

接下來(lái)是評(píng)估指標(biāo)，此類(lèi)中為F1分?jǐn)?shù)。下面以表格形式給出每種模型在不同數(shù)據(jù)集上獲得的最佳F1分?jǐn)?shù)。每個(gè)分?jǐn)?shù)對(duì)應(yīng)的研究論文鏈接和部分Github資源地址。

可以看到，表中中文詞匯分割模型的最優(yōu)F1分?jǐn)?shù)均超過(guò)了96分，感興趣的讀者可以點(diǎn)擊查看論文或Github資源。