一句話總結(jié)

本綜述全面回顧了生成模型的歷史、基本模型組件、AIGC從單模態(tài)交互和多模態(tài)交互的最新進(jìn)展，以及模態(tài)之間的交叉應(yīng)用，最后討論了AIGC中存在的開放問(wèn)題和未來(lái)挑戰(zhàn)。

摘要

最近，ChatGPT 與 DALL-E-2 和 Codex 一起受到了社會(huì)的廣泛關(guān)注。因此，許多人對(duì)相關(guān)資源產(chǎn)生了興趣，并試圖揭開其出色表現(xiàn)背后的背景和秘密。

實(shí)際上，ChatGPT 和其他生成式人工智能 (GAI) 技術(shù)屬于人工智能生成內(nèi)容 (AIGC) 的范疇，涉及通過(guò)人工智能模型創(chuàng)建數(shù)字內(nèi)容，例如圖像、音樂(lè)和自然語(yǔ)言。

AIGC 的目標(biāo)是使內(nèi)容創(chuàng)建過(guò)程更加高效和易于訪問(wèn)，從而能夠以更快的速度制作高質(zhì)量的內(nèi)容。

AIGC是通過(guò)從人類提供的指令中提取和理解意圖信息，并根據(jù)其知識(shí)和意圖信息生成內(nèi)容來(lái)實(shí)現(xiàn)的。

近年來(lái)，大型模型在 AIGC 中變得越來(lái)越重要，因?yàn)樗鼈兲峁┝烁玫囊鈭D提取，從而改進(jìn)了生成結(jié)果。

隨著數(shù)據(jù)的增長(zhǎng)和模型的規(guī)模，模型可以學(xué)習(xí)的分布變得更加全面和接近現(xiàn)實(shí)，從而導(dǎo)致更真實(shí)和高質(zhì)量的內(nèi)容生成。

本調(diào)查全面回顧了生成模型的歷史、基本組件、AIGC 從單模態(tài)交互和多模態(tài)交互的最新進(jìn)展。我們從單峰性的角度介紹了文本和圖像的生成任務(wù)和相關(guān)模型。我們從多模態(tài)的角度來(lái)介紹上述模態(tài)之間的交叉應(yīng)用。最后，我們討論了 AIGC 中存在的開放性問(wèn)題和未來(lái)的挑戰(zhàn)。

論文：A Comprehensive Survey of AI-Generated Content (AIGC): A History of Generative AI from GAN to ChatGPT
鏈接：https://arxiv.org/pdf/2303.04226v1.pdf
單位：CMU & Lehigh University

貢獻(xiàn)

一共有三點(diǎn)貢獻(xiàn)：

據(jù)我們所知，我們是第一個(gè)為 AIGC 和 AI 增強(qiáng)生成過(guò)程提供正式定義和全面調(diào)研的人。

我們回顧了AIGC 的歷史和基礎(chǔ)技術(shù)，并從單模態(tài)生成和多模態(tài)生成的角度對(duì)GAI 任務(wù)和模型的最新進(jìn)展進(jìn)行了全面分析。

我們討論了AIGC 面臨的主要挑戰(zhàn)和AIGC 未來(lái)的研究趨勢(shì)。

總體看

圖像生成中的 AIGC 示例。向 OpenAI DALL-E-2 模型給出文本指令，它根據(jù)指令生成兩張圖像：

AIGC整體圖。一般來(lái)說(shuō)，GAI模型可以分為兩類：?jiǎn)畏迥Ｐ秃投喾迥Ｐ?。單模態(tài)模型從與生成的內(nèi)容模態(tài)相同的模態(tài)接收指令，而多模態(tài)模型接受跨模態(tài)指令并產(chǎn)生不同模態(tài)的結(jié)果：

生成AI在CV、NLP和VL領(lǐng)域的歷史：

單模態(tài)

預(yù)訓(xùn)練大語(yǔ)言模型的大體類型：

模型大小、訓(xùn)練速度在不同模型和計(jì)算設(shè)備的統(tǒng)計(jì)數(shù)據(jù)：

InstructGPT的架構(gòu)：

視覺分類的模型分類：

視覺生成模型的基本框架：

多模態(tài)

兩種視覺語(yǔ)言編碼類型：

兩種解碼類型：

DALL-E-2模型結(jié)構(gòu)：

KG-文本的生成模型的一種方法DUALENC：

跨模態(tài)文本分子生成模型MoMu：

當(dāng)前研究領(lǐng)域、應(yīng)用與相關(guān)公司的關(guān)系圖，其中深藍(lán)色圓圈代表研究領(lǐng)域，淺藍(lán)色圓圈代表應(yīng)用，綠色圓圈代表公司：

應(yīng)用

生成AI模型應(yīng)用：

AIGC的效率

prompt learning的通常流程：

審核編輯 ：李倩