国产黄大全一本到MV,亚洲视频999

視覺幻覺是常見于多模態(tài)大語(yǔ)言模型 (Multimodal Large Language Models, MLLMs) 的一個(gè)典型問(wèn)題，它指的是"模型輸出的描述與圖片內(nèi)容不相符"這一現(xiàn)象，如下圖所示：

圖中體現(xiàn)了兩種幻覺，紅色部分錯(cuò)誤地描述了狗的顏色（屬性幻覺），藍(lán)色部分描述了圖中實(shí)際不存在的事物（目標(biāo)幻覺）?；糜X對(duì)模型的可靠性產(chǎn)生了顯著的負(fù)面影響，因此引起了許多研究者的重視。

以往的方法主要集中在 MLLM 本身，通過(guò)在訓(xùn)練數(shù)據(jù)以及架構(gòu)上進(jìn)行改進(jìn)，以重新微調(diào)的方式訓(xùn)練一個(gè)新的 MLLM。這種方式會(huì)造成較大的數(shù)據(jù)構(gòu)建和訓(xùn)練開銷，且較難推廣到各種已有的 MLLMs。

近日，來(lái)自中科大等機(jī)構(gòu)的研究者們提出了一種免訓(xùn)練的即插即用的通用架構(gòu)“啄木鳥（Woodpecker）”，通過(guò)修正的方式解決 MLLM 輸出幻覺的問(wèn)題。

論文鏈接：

https://arxiv.org/pdf/2310.16045.pdf

代碼鏈接：

https://github.com/BradyFU/Woodpecker

Woodpecker 可以修正各種場(chǎng)景下模型輸出的幻覺，并輸出檢測(cè)框作為引證，表明相應(yīng)的目標(biāo)確實(shí)存在。例如，面對(duì)描述任務(wù)，Woodpecker 可以修正其中帶有幻覺的部分。

對(duì)于 MLLM 難以檢測(cè)到的小對(duì)象，Woodpecker 也可以精準(zhǔn)修正：

面對(duì) MLLM 難以解決的復(fù)雜的計(jì)數(shù)場(chǎng)景，Woodpecker 同樣可以進(jìn)行解決：

對(duì)于目標(biāo)屬性類的幻覺問(wèn)題，Woopecker 處理地也很好：

我們還提供了 Demo 供讀者測(cè)試使用，如下圖所示，上傳圖片并輸入請(qǐng)求，就可以得到修正前以及修正后的模型答復(fù)，以及供參考驗(yàn)證的新圖片。

方法

Woodpecker 的架構(gòu)如下，它包括五個(gè)主要步驟：關(guān)鍵概念提取、問(wèn)題構(gòu)造、視覺知識(shí)檢驗(yàn)、視覺斷言生成以及幻覺修正。

關(guān)鍵概念提取：關(guān)鍵概念指的是 MLLM 的輸出中最可能存在幻覺的存在性目標(biāo)，例如上圖描述中的“自行車；垃圾桶；人”。我們可以 Prompt 大語(yǔ)言模型來(lái)提取出這些關(guān)鍵概念，這些關(guān)鍵概念是后續(xù)步驟進(jìn)行的基礎(chǔ)；

問(wèn)題構(gòu)造：圍繞著前一步提取出的關(guān)鍵概念，Prompt 大語(yǔ)言模型來(lái)提出一些有助于檢驗(yàn)圖片描述真?zhèn)蔚膯?wèn)題，如“圖中有幾輛自行車？”、“垃圾桶邊上的是什么？”等等；

視覺知識(shí)檢驗(yàn)：使用視覺基礎(chǔ)模型對(duì)提出的問(wèn)題進(jìn)行檢驗(yàn)，獲得與圖片以及描述文本相關(guān)的信息。例如，我們可以利用 GroundingDINO 來(lái)進(jìn)行目標(biāo)檢測(cè)，確定關(guān)鍵目標(biāo)是否存在以及關(guān)鍵目標(biāo)的數(shù)量。這里我們認(rèn)為像 GroundingDINO 這類視覺基礎(chǔ)模型對(duì)圖片的感知能力比 MLLM 本身的感知能力更強(qiáng)。對(duì)于目標(biāo)顏色等這類屬性問(wèn)題，我們可以利用 BLIP-2 來(lái)進(jìn)行回答。BLIP-2這類傳統(tǒng) VQA 模型輸出答案的長(zhǎng)度有限，幻覺問(wèn)題也更少；

視覺斷言生成：基于前兩步中獲得的問(wèn)題以及對(duì)應(yīng)的視覺信息，合成結(jié)構(gòu)化的“視覺斷言”。這些視覺斷言可以看做與原有 MLLM 的回答以及輸入圖片相關(guān)的視覺知識(shí)庫(kù)；

幻覺修正：基于前面得到的，使用大語(yǔ)言模型對(duì) MLLM 的文本輸出進(jìn)行逐一修正，并提供目標(biāo)對(duì)應(yīng)的檢測(cè)框信息作為視覺檢驗(yàn)的參照。

實(shí)驗(yàn)效果

實(shí)驗(yàn)選取了幾個(gè)典型的 MLLM 作為基線，包括：LLaVA，mPLUG-Owl，Otter，MiniGPT-4 論文中首先測(cè)試了 Woodpecker 在面對(duì)目標(biāo)幻覺時(shí)的修正能力，在 POPE 驗(yàn)證集的實(shí)驗(yàn)結(jié)果如下表所示：

結(jié)果表明在不同的 MLLM 上應(yīng)用 Woodpecker 修正后，均有不同程度的提升。在隨機(jī)設(shè)定下，Woodpecker 給 MiniGPT-4和 mPLUG-Owl 和在準(zhǔn)確率指標(biāo)上分別帶來(lái)了 30.66% 和 24.33% 的提升。

此外，研究者還應(yīng)用更全面的驗(yàn)證集 MME，進(jìn)一步測(cè)試 Woodpecker 在面對(duì)屬性幻覺時(shí)的修正能力，結(jié)果如下表所示：

從表中可見 Woodpecker 不僅在應(yīng)對(duì)目標(biāo)幻覺時(shí)有效，在修正顏色等屬性幻覺時(shí)也具有出色的表現(xiàn)。LLaVA 的顏色得分從 78.33 分大幅提升到 155 分！經(jīng)過(guò) Woodpecker 修正后，四個(gè)基線模型在四個(gè)測(cè)試子集上的總分均超過(guò) 500 分，在總體感知能力上獲得了顯著提升。

為了更直接地衡量修正表現(xiàn)，更直接的方式是使用開放評(píng)測(cè)。不同于以往將圖片轉(zhuǎn)譯后送入純文本 GPT-4 的做法，文章利用 OpenAI 最近開放的視覺接口，提出使用 GPT-4 (Vision) 對(duì)修正前后的圖片描述直接對(duì)下列兩個(gè)維度進(jìn)行打分：

準(zhǔn)確度：模型的答復(fù)相對(duì)于圖片內(nèi)容是否準(zhǔn)確
詳細(xì)程度：模型答復(fù)的細(xì)節(jié)豐富度

在該實(shí)驗(yàn)條件下，實(shí)驗(yàn)結(jié)果如下表所示：

結(jié)果表明經(jīng)過(guò) Woodpecker 修正后圖片描述的準(zhǔn)確性有一定的提升，這說(shuō)明該框架可以有效修正描述中幻視的部分。另一方面，Woodpecker 修正后引入的定位信息豐富了文本描述，提供了進(jìn)一步的位置信息，從而提升了細(xì)節(jié)豐富度。GPT-4V 輔助的評(píng)測(cè)樣例如下圖所示：

原文標(biāo)題：幻覺降低30%！首個(gè)多模態(tài)大模型幻覺修正工作Woodpecker

文章出處：【微信公眾號(hào)：智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。舉報(bào)投訴