論文：Foundations and Recent Trends in Multimodal Machine Learning: Principles, Challenges, and Open Questions

地址：https://arxiv.org/pdf/2209.03430.pdf

多模態(tài)機(jī)器學(xué)習(xí)是一個(gè)充滿活力的多學(xué)科研究領(lǐng)域，旨在通過(guò)整合多種交流模態(tài)，包括語(yǔ)言、聲學(xué)、視覺(jué)、觸覺(jué)和生理信息，設(shè)計(jì)具有理解、推理和學(xué)習(xí)等智能能力的計(jì)算機(jī)智能體。隨著最近人們對(duì)視頻理解、具身化自主智能體、文本到圖像生成以及醫(yī)療健康和機(jī)器人等應(yīng)用領(lǐng)域的多傳感器融合的興趣，多模態(tài)機(jī)器學(xué)習(xí)給機(jī)器學(xué)習(xí)社區(qū)帶來(lái)了獨(dú)特的計(jì)算和理論挑戰(zhàn)，因?yàn)閿?shù)據(jù)源的異質(zhì)性和模式之間經(jīng)常發(fā)現(xiàn)的相互聯(lián)系。然而，多模態(tài)研究的廣泛進(jìn)展使得很難確定該領(lǐng)域的共同主題和開(kāi)放問(wèn)題。通過(guò)從歷史和最近的角度綜合廣泛的應(yīng)用領(lǐng)域和理論框架，本文旨在提供一個(gè)多模態(tài)機(jī)器學(xué)習(xí)的計(jì)算和理論基礎(chǔ)的概述。我們首先定義了驅(qū)動(dòng)后續(xù)創(chuàng)新的模態(tài)異質(zhì)性和相互聯(lián)系的兩個(gè)關(guān)鍵原則，并提出了6個(gè)核心技術(shù)挑戰(zhàn)的分類:表征、對(duì)齊、推理、生成、轉(zhuǎn)移和涵蓋歷史和近期趨勢(shì)的量化。最新的技術(shù)成果將通過(guò)這種分類法來(lái)展示，讓研究人員了解新方法的異同。最后，我們提出了幾個(gè)由我們的分類法確定的開(kāi)放問(wèn)題，以供未來(lái)研究。

開(kāi)發(fā)具有智能能力的計(jì)算機(jī)智能體一直是人工智能的一個(gè)宏偉目標(biāo)，如通過(guò)多模態(tài)經(jīng)驗(yàn)和數(shù)據(jù)進(jìn)行理解、推理和學(xué)習(xí)，就像我們?nèi)祟愂褂枚喾N感官模式感知世界的方式一樣。隨著近年來(lái)在具身自主代理[77,512]、自動(dòng)駕駛汽車(chē)[647]、圖像和視頻理解[16,482,557]、文本到圖像生成[486]以及機(jī)器人[335,493]和醫(yī)療健康[281,357]等應(yīng)用領(lǐng)域的多傳感器融合方面的進(jìn)展，我們現(xiàn)在比以往任何時(shí)候都更接近能夠集成許多感官形態(tài)并從中學(xué)習(xí)的智能體。多模態(tài)機(jī)器學(xué)習(xí)這一充滿活力的多學(xué)科研究領(lǐng)域帶來(lái)了獨(dú)特的挑戰(zhàn)，因?yàn)閿?shù)據(jù)的異質(zhì)性和通常在模態(tài)之間發(fā)現(xiàn)的相互聯(lián)系，并在多媒體[351,435]、情感計(jì)算[353,476]、機(jī)器人[308,334]、人機(jī)交互[445,519]和醫(yī)療健康[85,425]中有廣泛的應(yīng)用。

然而，多模態(tài)研究的進(jìn)展速度使得很難確定歷史和近期工作的共同主題，以及該領(lǐng)域的關(guān)鍵開(kāi)放問(wèn)題。通過(guò)從歷史和最近的角度綜合廣泛的應(yīng)用領(lǐng)域和理論見(jiàn)解，本文旨在提供多模態(tài)機(jī)器學(xué)習(xí)的方法論、計(jì)算和理論基礎(chǔ)的概述，這很好地補(bǔ)充了最近在視覺(jué)和語(yǔ)言[603]、語(yǔ)言和強(qiáng)化學(xué)習(xí)[382]、多媒體分析[40]和人機(jī)交互[269]等面向應(yīng)用的研究。

圖1:多模態(tài)學(xué)習(xí)的核心研究挑戰(zhàn):(1)表示研究如何表示和總結(jié)多模態(tài)數(shù)據(jù)，以反映單個(gè)模態(tài)元素之間的異質(zhì)性和相互聯(lián)系。(2)對(duì)齊旨在識(shí)別所有元素之間的聯(lián)系和相互作用。(3)推理的目的是將多模態(tài)證據(jù)組合成知識(shí)，通常通過(guò)對(duì)一個(gè)任務(wù)的多個(gè)推理步驟。(4)生成包括學(xué)習(xí)生成過(guò)程，以產(chǎn)生反映跨模態(tài)交互、結(jié)構(gòu)和一致性的原始模態(tài)。(5)遷移旨在在模態(tài)及其表示之間遷移知識(shí)。(6)量化包括實(shí)證和理論研究，以更好地理解異質(zhì)性、相互聯(lián)系和多模態(tài)學(xué)習(xí)過(guò)程。

為了建立多模態(tài)機(jī)器學(xué)習(xí)的基礎(chǔ)，我們首先為數(shù)據(jù)模式和多模態(tài)研究的定義奠定基礎(chǔ)，然后確定驅(qū)動(dòng)后續(xù)技術(shù)挑戰(zhàn)和創(chuàng)新的兩個(gè)關(guān)鍵原則:(1)模態(tài)是異質(zhì)的，因?yàn)樵诓煌B(tài)中出現(xiàn)的信息往往表現(xiàn)出不同的質(zhì)量、結(jié)構(gòu)和表征;(2)模態(tài)是相互聯(lián)系的，因?yàn)樗鼈兘?jīng)常相關(guān)、共享共性，或在用于任務(wù)推斷時(shí)相互作用產(chǎn)生新信息?；谶@些定義，我們提出了多模態(tài)機(jī)器學(xué)習(xí)中的六個(gè)核心挑戰(zhàn)的新分類:表示、對(duì)齊、推理、生成、遷移和量化(見(jiàn)圖1)。這些構(gòu)成了傳統(tǒng)單模態(tài)機(jī)器學(xué)習(xí)中研究不足的核心多模態(tài)技術(shù)挑戰(zhàn)，為了推動(dòng)該領(lǐng)域向前發(fā)展，需要解決這些挑戰(zhàn):

1. 表征: 我們能學(xué)習(xí)反映個(gè)體模態(tài)元素之間的異質(zhì)性和相互聯(lián)系的表征嗎?本文將涵蓋以下基本方法:(1)表示融合:整合來(lái)自2個(gè)或更多模態(tài)的信息，有效減少單獨(dú)表示的數(shù)量;(2)表示協(xié)調(diào):互換跨模態(tài)信息，目標(biāo)是保持相同的表示數(shù)量，但改善多模態(tài)語(yǔ)境化;創(chuàng)建一個(gè)新的不相交的表示集，其數(shù)量通常大于輸入集，反映有關(guān)內(nèi)部結(jié)構(gòu)的知識(shí)，如數(shù)據(jù)聚類或因子分解。

2. 對(duì)齊:我們?nèi)绾巫R(shí)別樣式元素之間的連接和交互?模態(tài)之間的對(duì)齊具有挑戰(zhàn)性，涉及(1)識(shí)別模態(tài)元素之間的連接，(2)上下文表示學(xué)習(xí)以捕獲模態(tài)連接和交互，以及(3)處理具有歧義分割的模態(tài)輸入。

3. 推理被定義為從多模態(tài)證據(jù)中組合知識(shí)，通常通過(guò)多個(gè)推理步驟，為特定任務(wù)開(kāi)發(fā)多模態(tài)對(duì)齊和問(wèn)題結(jié)構(gòu)。這種關(guān)系通常遵循某種層次結(jié)構(gòu)，更抽象的概念在層次結(jié)構(gòu)中被定義為較不抽象的概念的函數(shù)。推理包括(1)對(duì)推理發(fā)生的結(jié)構(gòu)建模，(2)推理過(guò)程中的中間概念，(3)理解更抽象概念的推理范式，(4)在結(jié)構(gòu)、概念和推理的研究中利用大規(guī)模的外部知識(shí)。

4. 生成:第四個(gè)挑戰(zhàn)涉及學(xué)習(xí)生成過(guò)程，以生成反映每個(gè)模態(tài)的獨(dú)特異質(zhì)性和模態(tài)之間的相互聯(lián)系的原始模態(tài)。我們將其子挑戰(zhàn)分類為:(1)總結(jié):總結(jié)多模態(tài)數(shù)據(jù)以減少信息內(nèi)容，同時(shí)突出輸入中最突出的部分;(2)翻譯:從一種模態(tài)轉(zhuǎn)換到另一種模態(tài)并保持信息內(nèi)容，同時(shí)與跨模態(tài)交互保持一致;(3)創(chuàng)造:同時(shí)生成多個(gè)模態(tài)以增加信息內(nèi)容，同時(shí)保持模態(tài)內(nèi)部和跨模態(tài)的一致性。

5. 遷移旨在在模態(tài)及其表示之間遷移知識(shí)，通常用于幫助可能有噪聲或資源有限的目標(biāo)模態(tài)。以以下算法為例:(1)跨模態(tài)遷移:使模型適應(yīng)涉及主要模態(tài)的下游任務(wù);(2)共同學(xué)習(xí):通過(guò)在兩種模態(tài)之間共享表示空間，將信息從次要模態(tài)轉(zhuǎn)移到主要模態(tài);保持單個(gè)單模態(tài)模型獨(dú)立，但在這些模型之間傳遞信息，從一種模態(tài)學(xué)到的知識(shí)(例如，預(yù)測(cè)的標(biāo)簽或表示)如何幫助以另一種模態(tài)訓(xùn)練的計(jì)算模型?

6. 量化: 第六個(gè)挑戰(zhàn)涉及實(shí)證和理論研究，以更好地理解異質(zhì)性、模態(tài)相互聯(lián)系和多模態(tài)學(xué)習(xí)過(guò)程。量化旨在理解(1)多模態(tài)數(shù)據(jù)集的異質(zhì)性維度以及它們?nèi)绾斡绊懡：蛯W(xué)習(xí)，(2)多模態(tài)數(shù)據(jù)集和訓(xùn)練過(guò)的模型中模態(tài)連接和交互的存在和類型，以及(3)異構(gòu)數(shù)據(jù)涉及的學(xué)習(xí)和優(yōu)化挑戰(zhàn)。

最后，我們對(duì)多模態(tài)學(xué)習(xí)的未來(lái)研究方向提出了一個(gè)長(zhǎng)遠(yuǎn)的展望。

審核編輯 ：李倩