面向中文搜索的開放域文檔視覺問答任務解決方案
現(xiàn)有開放域問答系統(tǒng)主要以文本集合作為信息來源回答用戶提問，如圖1所示，現(xiàn)有系統(tǒng)通常需要花費大量成本根....
通過Token實現(xiàn)多視角文檔向量表征的構(gòu)建
該篇論文與前兩天分享的DCSR-面向開放域段落檢索的句子感知的對比學習一文有異曲同工之妙，都是在檢索....
對比學習中的4種典型范式的應用分析
對比學習是無監(jiān)督表示學習中一種非常有效的方法，核心思路是訓練query和key的Encoder，讓這....
雙塔模型擴量負樣本的方法比較
雙塔模型在訓練時是對一個batch內(nèi)樣本訓練。一個batch內(nèi)每個樣本 (user和item對)為正....
基于Zero-Shot的多語言抽取式文本摘要模型
抽取式文本摘要目前在英文上已經(jīng)取得了很好的性能，這主要得益于大規(guī)模預訓練語言模型和豐富的標注語料。但....
采用雙塔BERT模型對文本字符和label進行編碼
這是一篇來自于 ACL 2022 的文章，總體思想就是在 meta-learning 的基礎(chǔ)上，....
匯總在事件抽取方向的相關(guān)廠商調(diào)研結(jié)果
值得關(guān)注的是在論元提取（要素抽?。╇A段，除了CRF外，他們也嘗試了MRC（閱讀理解范式）、Biaff....
基于pipeline的文本糾錯系統(tǒng)框架分析
這是比較早期的一個中文文本糾錯系統(tǒng)，該系統(tǒng)結(jié)合了規(guī)則模版和統(tǒng)計的方法，很大程度的解決了同期糾錯系統(tǒng)誤....
面向?qū)嶓w對象的文本描述情感極性及色彩強度分析
在做這題的時候我就會思考如何做得優(yōu)雅，最好方法是simple yet effective的。最好就是....
用于少數(shù)鏡頭命名實體識別的分解元學習
我們在一些 benchmark 上進行了實驗，實驗表明我們提出的框架比之前的 SOTA 模型表現(xiàn)更好....
文本預訓練的模型架構(gòu)及相關(guān)數(shù)據(jù)集
多模態(tài)預訓練的數(shù)據(jù)通常來源于大規(guī)模的模態(tài)間對齊樣本對。由于時序維度的存在，視頻當中包含了比圖片更加豐....
在檢索任務中訓練數(shù)據(jù)在推理時也大有用處
有點類似 Prompt 學習，但本文主要關(guān)注有監(jiān)督學習的設(shè)置。結(jié)果不僅效果很好，而且很容易擴展（只要....
Zero-shot-CoT是multi-task的方法
大規(guī)模預訓練語言模型借助于針對特定任務設(shè)計的prompt（無論是few shot還是zero sho....
事件模式歸納的歷史以及相關(guān)概念
一個典型的原子事件類型歸納的研究是Nathanael Chambers和Dan Jurafsky在2....
幾種基于深度學習的中文糾錯模型
Confusionset-guided Pointer Network看起來跟之前提及的CopyNe....
微調(diào)前給預訓練模型參數(shù)增加噪音提高效果的方法
為了減輕上述問題，提出了NoisyTune方法，即，在finetune前加入給預訓練模型的參數(shù)增加少....
一種緩解負采樣偏差的對比學習句表示框架DCLR
近年來，預訓練語言模型在各種 NLP 任務上取得了令人矚目的表現(xiàn)。然而，一些研究發(fā)現(xiàn)，由預訓練模型得....
SemEval 2022: 多語種慣用語識別評測冠軍系統(tǒng)簡介
提交的系統(tǒng)使用XLM-RoBERTa作為編碼器，在預處理過程中對訓練數(shù)據(jù)的慣用語短語（MWE）進行特....
關(guān)于Prompt在NER場景的應用總結(jié)
將序列標注任務轉(zhuǎn)換成一個生成任務，在Encoder端輸入為原始文本，Decoder端輸入的是一個已填....
如何顯著提升Vision Transformer的訓練效率
為了降低門檻，讓更多人能夠應用ViT，我們開發(fā)一系列方法來加速整個訓練。我們基于MetaAI的圖像分....
基于e-CARE的因果推理相關(guān)任務
因果推理是人類的一項核心認知能力。借助因果推理能力，人類得以理解已觀測到的各種現(xiàn)象，并預測將來可能發(fā)....
PaddleNLP v2.3帶來兩大重磅能力
針對以上難題，中科院軟件所和百度共同提出了一個大一統(tǒng)諸多任務的通用信息抽取技術(shù)UIE（Univers....
稠密檢索模型在zero-shot場景下的泛化能力
稠密檢索任務旨在通過給定的query，在一個龐大的document語料庫中召回與query高度相關(guān)的....
若干蒸餾方法之間的細節(jié)以及差異
以往的知識蒸餾雖然可以有效的壓縮模型尺寸，但很難將teacher模型的能力蒸餾到一個更小詞表的stu....
基于k近鄰與高斯噪聲的虛擬困難樣本增強方法
然而在無監(jiān)督SimCSE中，作者僅使用dropout的方式進行了正樣本增強，沒有額外引入困難樣本，這....
緩解模型訓練成本過高的問題
模型壓縮可以分為模型剪枝（pruning）和模型蒸餾（distillation）。由于模型中的參數(shù)對....
一種基于亂序語言模型的預訓練模型-PERT
由于亂序語言模型不使用[MASK]標記，減輕了預訓練任務與微調(diào)任務之間的gap，并由于預測空間大小為....
Multilingual多語言預訓練語言模型的套路
Facebook在Crosslingual language model pretraining（N....
結(jié)合句子間差異的無監(jiān)督句子嵌入對比學習方法-DiffCSE
句向量表征技術(shù)目前已經(jīng)通過對比學習獲取了很好的效果。而對比學習的宗旨就是拉近相似數(shù)據(jù)，推開不相似數(shù)據(jù)....
機器翻譯中細粒度領(lǐng)域自適應的數(shù)據(jù)集和基準實驗
細粒度領(lǐng)域自適應問題是一個重要的實際應用問題。當研發(fā)人員需要為某個特定主題提供翻譯服務（比如為某個主....
