梯度人工智能平臺賦能業(yè)務加速

梯度科技基于Tensorflow、Pytorch、MindSpore等多種主流深度開源框架和Ray的強化學習開發(fā)框架研發(fā)的人工智能平臺，圍繞“云+AI”...

2023-02-13 標簽：人工智能語言模型深度學習 1.8k 0

谷歌新作Dreamix：視頻擴散模型是通用視頻編輯器，效果驚艷！

可以看到，視頻編輯比圖像編輯更加具有挑戰(zhàn)性，它需要合成新的動作，而不僅僅是修改視覺外觀。此外還需要保持時間上的一致性。因此，將 SDEdit、Promp...

2023-02-09 標簽：視頻編輯器語言模型 2.4k 0

Meta是如何構建新人工智能CICERO的？

日前，我們宣布了一項突破性進展，向著構建掌握這些技能的人工智能邁進了重要的一步。我們已經(jīng)構建了一個代理 CICERO——這是第一個在時下流行的戰(zhàn)略游戲 ...

2023-01-16 標簽：人工智能語言模型 1.4k 0

如何用AI來寫Verilog代碼？

可能現(xiàn)在它的功能還并不是很完善，但作為工程師，看到這么強大的功能，不禁有些感慨，我們的核心競爭力是什么？如果真的有一天，AI可以幫我們寫代碼了，我們該去做什么？

2022-12-09 標簽：VerilogAI語言模型 3.7k 0

AI再卷數(shù)學界，DSP新方法將機器證明成功率提高一倍

我們以語言模型 Minerva為例。當在足夠多的數(shù)據(jù)訓練之后，我們發(fā)現(xiàn)它的數(shù)學能力非常強，可以在高中數(shù)學測試中拿到高于平均分水平。然而這樣的語言模型也有...

2022-11-21 標簽：人工智能語言模型自然語言處理 1.1k 0

聚焦“源1.0”背后的計算挑戰(zhàn)以及我們采取的訓練方法

“源1.0”是一個典型的語言模型。語言模型通俗來講就是能夠完成自然語言理解或者生成文本的神經(jīng)網(wǎng)絡模型。對于“源1.0”，我們考慮語言模型（Languag...

2022-11-15 標簽：神經(jīng)網(wǎng)絡模型語言模型 1.3k 0

從預訓練語言模型看MLM預測任務

為了解決這一問題，本文主要從預訓練語言模型看MLM預測任務、引入prompt_template的MLM預測任務、引入verblize類別映射的Promp...

2022-11-14 標簽：語言模型nlp 4k 0

CogBERT：腦認知指導的預訓練語言模型

另一方面，從語言處理的角度來看，認知神經(jīng)科學研究人類大腦中語言處理的生物和認知過程。研究人員專門設計了預訓練的模型來捕捉大腦如何表示語言的意義。之前的工...

2022-11-03 標簽：語言模型數(shù)據(jù)集 1.9k 0

KT利用NVIDIA AI平臺訓練大型語言模型

韓國先進的移動運營商構建包含數(shù)百億個參數(shù)的大型語言模型，并使用 NVIDIA DGX SuperPOD 平臺和 NeMo Megatron 框架訓練該模型。

2022-09-27 標簽：NVIDIAAI語言模型 2.3k 0

針對文本生成任務提出一種基于提示的遷移學習方法

理解是一個復雜且多面的能力，包括對文本詞匯、背景知識、語言結構的理解。因此，我們采用GLUE, SuperGLUE, SQuAD v1.1, SQuAD...

2022-09-23 標簽：語言模型數(shù)據(jù)集遷移學習 2.2k 0

預先訓練的語言模型能像人類一樣聰明地解釋明喻嗎？

明喻主要分為兩類：封閉式明喻(ClosedSimile)，以及開放式明喻(OpenSimile)。如圖2所示，二者區(qū)別在于是否顯式地指明本體、喻體的共同...

2022-09-23 標簽：模型語言模型數(shù)據(jù)集 1.4k 0

NVIDIA NeMo最新語言模型服務幫助開發(fā)者定制大規(guī)模語言模型

NVIDIA NeMo 大型語言模型（LLM）服務幫助開發(fā)者定制大規(guī)模語言模型；NVIDIA BioNeMo 服務幫助研究人員生成和預測分子、蛋白質及 DNA

2022-09-22 標簽：NVIDIAAI語言模型 1.3k 0

一種將知識圖譜與語言模型結合的具體方式分享

知識嵌入（Knowledge Embedding）將知識圖譜中的關系和實體嵌入向量空間進行表示。

2022-09-05 標簽：編碼CLS語言模型 2.6k 0

計算語言學的發(fā)展趨勢、不足與挑戰(zhàn)

NAACL 會議是 ACL 的北美分會，每年舉辦一次，也是 NLP 領域備受關注的頂會之一。NAACL 主要涉及對話、信息抽取、信息檢索、語言生成、機器...

2022-08-18 標簽：神經(jīng)網(wǎng)絡計算語言模型 2.6k 0

如何進行MLM訓練

Bert的MLM是靜態(tài)mask，而在后續(xù)的其他預訓練模型中，這一策略通常被替換成了動態(tài)mask。除此之外還有 whole word mask 的模型，這...

2022-08-13 標簽：模型語言模型mask 3.6k 0

基于對抗自注意力機制的預訓練語言模型

表示輸入的特征，在傳統(tǒng)的對抗訓練中， 通常是 token 序列或者是 token 的 embedding， 表示 ground truth. 對于由 參...

2022-07-08 標簽：自動化語言模型 2.2k 0

匯總在事件抽取方向的相關廠商調(diào)研結果

值得關注的是在論元提?。ㄒ爻槿。╇A段，除了CRF外，他們也嘗試了MRC（閱讀理解范式）、Biaffine。其中Biaffine思想來自論文Named ...

2022-07-07 標簽：事件語言模型 1.6k 0

Zero-shot-CoT是multi-task的方法

大規(guī)模預訓練語言模型借助于針對特定任務設計的prompt（無論是few shot還是zero shot），在單步驟的system-1任務上有著出色表現(xiàn)，...

2022-06-15 標簽：自動化語言模型 3.6k 0

一種緩解負采樣偏差的對比學習句表示框架DCLR

近年來，預訓練語言模型在各種 NLP 任務上取得了令人矚目的表現(xiàn)。然而，一些研究發(fā)現(xiàn)，由預訓練模型得出的原始句表示相似度都很高，在向量空間中并不是均勻分...

2022-06-07 標簽：框架語言模型nlp 2.6k 0

一種基于亂序語言模型的預訓練模型-PERT

由于亂序語言模型不使用[MASK]標記，減輕了預訓練任務與微調(diào)任務之間的gap，并由于預測空間大小為輸入序列長度，使得計算效率高于掩碼語言模型。PERT...

2022-05-10 標簽：語言模型自然語言處理 2.5k 0