知識(shí)圖譜與BERT相結(jié)合助力語(yǔ)言模型
感謝清華大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室對(duì)預(yù)訓(xùn)練語(yǔ)言模型架構(gòu)的梳理，我們將沿此脈絡(luò)前行，探索預(yù)訓(xùn)練語(yǔ)言模型的前....
詞匯知識(shí)融合可能是NLP任務(wù)的永恒話題
得益于BERT的加持，Encoder搭配CRF的結(jié)構(gòu)在中文NER上通常都有不錯(cuò)的表現(xiàn)，而且BERT使....
基于Aspect、Target等醫(yī)療領(lǐng)域情感分析的應(yīng)用場(chǎng)景
前言 情感分析是文本分類的一個(gè)分支，是對(duì)帶有情感色彩（褒義貶義/正向負(fù)向）的主觀性文本進(jìn)行分析，以確....
Transformer深度學(xué)習(xí)架構(gòu)的應(yīng)用指南介紹
近年來(lái)，自然語(yǔ)言處理（Natural Language Processing， NLP）模型在文本分....
將淺層神經(jīng)網(wǎng)絡(luò)作為“弱學(xué)習(xí)者”的梯度Boosting框架
1. 簡(jiǎn)介 本文提出了一種新的梯度Boosting框架，將淺層神經(jīng)網(wǎng)絡(luò)作為“弱學(xué)習(xí)者”。在此框架下，....
淺談圖神經(jīng)網(wǎng)絡(luò)在自然語(yǔ)言處理中的應(yīng)用簡(jiǎn)述
近幾年，神經(jīng)網(wǎng)絡(luò)因其強(qiáng)大的表征能力逐漸取代傳統(tǒng)的機(jī)器學(xué)習(xí)成為自然語(yǔ)言處理任務(wù)的基本模型。然而經(jīng)典的神....
開(kāi)放域信息抽取和文本知識(shí)結(jié)構(gòu)化的3篇論文詳細(xì)解析
開(kāi)放域信息抽取是信息抽取任務(wù)的另一個(gè)分支任務(wù)，其中抽取的謂語(yǔ)和實(shí)體并不是特定的領(lǐng)域，也并沒(méi)有提前定義....
關(guān)于一項(xiàng)改進(jìn)Transformer的工作
NAACL2021中，復(fù)旦大學(xué)大學(xué)數(shù)據(jù)智能與社會(huì)計(jì)算實(shí)驗(yàn)室（Fudan DISC）和微軟亞洲研究院合....
你們知道國(guó)內(nèi)較強(qiáng)的NLP高校實(shí)驗(yàn)室有哪些嗎？
說(shuō)一下我了解的學(xué)校和實(shí)驗(yàn)室！排名不分先后，名單不全，歡迎補(bǔ)充~ 清華大學(xué)：孫茂松老師、劉知遠(yuǎn) @劉知....
13個(gè)你一定來(lái)看看的PyTorch特性！
作者：MARCIN ZAB?OCKIMARCIN ZAB?OCKI 編譯：ronghuaiyang（....
自然語(yǔ)言模型預(yù)訓(xùn)練的發(fā)展史
自從深度學(xué)習(xí)火起來(lái)后，預(yù)訓(xùn)練過(guò)程就是做圖像或者視頻領(lǐng)域的一種比較常規(guī)的做法，有比較長(zhǎng)的歷史了，而且這....
解讀一下DeBERTa在BERT上有哪些改造
為了解決預(yù)訓(xùn)練和微調(diào)時(shí)，因?yàn)槿蝿?wù)的不同而預(yù)訓(xùn)練和微調(diào)階段的gap，加入了一個(gè)增強(qiáng)decoder端，這....
ARR將在今年的EMNLP 2021大會(huì)上首次得到應(yīng)用
投稿要求與主流ACL系列會(huì)議一致，所有與計(jì)算語(yǔ)言學(xué)和自然語(yǔ)言處理相關(guān)的論文都可以投稿到ARR，包含長(zhǎng)....
知識(shí)圖譜是NLP的未來(lái)嗎？
我的看法：知識(shí)圖譜不是NLP的未來(lái)，因?yàn)橹R(shí)圖譜是另外一種與NLP有很多交集的技術(shù)。在目前所有已知的....
用幾個(gè)深度學(xué)習(xí)框架串起來(lái)這些年歷史上的一些有趣的插曲
清明節(jié)這幾天有些時(shí)間寫(xiě)了這篇文章，從我的視角，用幾個(gè)深度學(xué)習(xí)框架串起來(lái)這些年歷史上的一些有趣的插曲，....
情感分析常用的知識(shí)有哪些呢？
一般的文本分類任務(wù)只提供句子或文檔級(jí)別的情感標(biāo)簽，引入情感詞典等先驗(yàn)情感知識(shí)可以給情感文本引入更細(xì)粒....
Fudan DISC實(shí)驗(yàn)室將分享三篇關(guān)于知識(shí)圖譜嵌入模型的論文
知識(shí)圖譜嵌入 knowledge graph embedding是將包含實(shí)體和關(guān)系的知識(shí)圖譜三元組嵌....
21個(gè)Transformer面試題的簡(jiǎn)單回答
請(qǐng)求和鍵值初始為不同的權(quán)重是為了解決可能輸入句長(zhǎng)與輸出句長(zhǎng)不一致的問(wèn)題。并且假如QK維度一致，如果不....
圖神經(jīng)網(wǎng)絡(luò)的解釋性綜述
圖神經(jīng)網(wǎng)絡(luò)的可解釋性是目前比較值得探索的方向，今天解讀的2021最新綜述，其針對(duì)近期提出的 GNN ....
一文秒懂貝葉斯優(yōu)化/Bayesian Optimization
今天想談的問(wèn)題是：什么是貝葉斯優(yōu)化/Bayesian Optimization，基本用法是什么？ 本....
詳解多任務(wù)學(xué)習(xí)的方法與現(xiàn)實(shí)
大家在做模型的時(shí)候，往往關(guān)注一個(gè)特定指標(biāo)的優(yōu)化，如做點(diǎn)擊率模型，就優(yōu)化AUC，做二分類模型，就優(yōu)化f....
詳解一種簡(jiǎn)單而有效的Transformer提升技術(shù)
近些年，Transformer［1］逐漸成為了自然語(yǔ)言處理中的主流結(jié)構(gòu)。為了進(jìn)一步提升Transfo....
兩個(gè)NLP模型的預(yù)測(cè)分析
圖數(shù)據(jù)的天然優(yōu)勢(shì)是為學(xué)習(xí)算法提供了豐富的結(jié)構(gòu)化信息，節(jié)點(diǎn)之間鄰接關(guān)系的設(shè)計(jì)成為了重要的先驗(yàn)信息和交互....
讓長(zhǎng)短期記憶人工神經(jīng)網(wǎng)絡(luò)重返巔峰
1.開(kāi)篇 去年年底，各大榜單上風(fēng)起云涌，各路英雄在榜單上為了分?jǐn)?shù)能多個(gè)0.01而不停的躁動(dòng)，迫不及待....
自然語(yǔ)言處理BERT中CLS的效果如何？
要說(shuō)自然語(yǔ)言處理在18年最?yuàn)Z目閃耀的是什么事情，那當(dāng)屬 BERT 刷新各個(gè)任務(wù)的記錄了，至今已經(jīng)過(guò)去....
信息檢索對(duì)話中ConversationShape框架介紹
參與混合主動(dòng)互動(dòng)的能力是會(huì)話搜索系統(tǒng)的核心要求之一。如何做到這一點(diǎn)，人們知之甚少。我們提出了一組無(wú)監(jiān)....
