OpenAI的文字圖像轉(zhuǎn)換器與文本、科學(xué)和偏見作斗爭(zhēng)。

在2022年4月，人工智能（AI）研究實(shí)驗(yàn)室OpenAI繼2021年推出的DALL-E后，又推出了DALL-E 2。這兩個(gè)人工智能系統(tǒng)都可以根據(jù)自然語(yǔ)言的文本描述來生成令人驚奇的圖像，包括照片、插圖、繪畫、動(dòng)畫和其他能用語(yǔ)言表達(dá)藝術(shù)風(fēng)格的幾乎任何圖片（見下圖）。DALL-E 2的分辨率更高，處理速度更快，增加的編輯功能能夠讓用戶僅使用文本命令修改已生成圖像，例如“把那個(gè)花瓶換成植物”或“讓狗的鼻子更大一點(diǎn)”。

對(duì)于DALL-E 2，全球最初的反應(yīng)是震驚和欣慰。它可以在幾秒鐘之內(nèi)把任何物體和生物組合在一起，可以模仿任何藝術(shù)風(fēng)格，還能描繪任何地點(diǎn)，并且可以刻畫各種照明條件。比如說，看到宇航員騎著一匹馬的安迪?沃霍爾（Andy Warhol）風(fēng)格圖片，誰(shuí)能不被感動(dòng)？不過，隨著人們列出可以被這種技術(shù)輕易擾亂的行業(yè)，也難免出現(xiàn)了一絲擔(dān)憂。

OpenAI尚未向公眾、商業(yè)實(shí)體乃至整個(gè)人工智能社區(qū)發(fā)布相關(guān)技術(shù)。OpenAI的研究員馬克?陳（Mark Chen）：“我們和大家一樣擔(dān)心濫用的問題，而且非常重視這件事。”該公司確實(shí)邀請(qǐng)了一些人，針對(duì)DALL-E 2進(jìn)行實(shí)驗(yàn)。過去幾個(gè)月出現(xiàn)的研究結(jié)果充分說明了現(xiàn)今深度學(xué)習(xí)技術(shù)的局限性，也給我們打開了一個(gè)窗口，了解對(duì)于人類世界，人工智能有哪些能夠理解，又有哪些完全沒有理解。

工作原理

OpenAI在論文預(yù)印本網(wǎng)站ArXiv上發(fā)布的一篇論文表明，DALL-E 2接受了從互聯(lián)網(wǎng)上截取的約6.5億個(gè)圖像-文本對(duì)的訓(xùn)練。通過這個(gè)龐大的數(shù)據(jù)集，它學(xué)習(xí)圖像與描述這些圖像的文字之間的關(guān)系。OpenAI在訓(xùn)練之前對(duì)數(shù)據(jù)集進(jìn)行篩選，移除了包含明顯暴力、色情和其他惡劣內(nèi)容的圖片?！澳Ｐ蜎]有暴露這些概念之下?！标愓f，“所以它生成未見過內(nèi)容的可能性非常非常低?！钡芯咳藛T明確指出，這種過濾有局限性，DALL-E 2仍然有可能生成有害的內(nèi)容。

一旦這種“編碼器”模型經(jīng)過訓(xùn)練，可理解文本和圖片之間的關(guān)系，OpenAI就將它與一個(gè)可根據(jù)文本提示生成圖片的解碼器配對(duì)，使用一種名為“擴(kuò)散”的方法，從隨機(jī)的點(diǎn)圖案開始，慢慢改變圖案，生成圖像。此外，該公司集成了一些過濾器，以便生成的圖像符合內(nèi)容政策，并承諾了不斷進(jìn)行更新?？赡墚a(chǎn)生禁止內(nèi)容的改變會(huì)被阻止，而且為了防止深度偽造，它無法準(zhǔn)確地再現(xiàn)在訓(xùn)練過程中見過的面孔（這可部分解釋為什么它通常會(huì)產(chǎn)生超現(xiàn)實(shí)的面孔）。到目前為止，OpenAI還采用了人工審查員檢查被標(biāo)記為可能有問題的圖像。

由于DALL-E 2明顯有可能被濫用，OpenAI最初授權(quán)使用的只有幾百人，大多是人工智能研究人員和藝術(shù)家。與該實(shí)驗(yàn)室的語(yǔ)言生成模型GPT-3不同，即便是有限的商業(yè)應(yīng)用，DALL-E 2 也尚不具備，而且OpenAI也未公開討論相關(guān)計(jì)劃。不過，瀏覽DALL-E 2用戶創(chuàng)建并發(fā)布在Reddit等論壇上的圖像，可以發(fā)現(xiàn)有些專業(yè)應(yīng)用確實(shí)應(yīng)該引起擔(dān)憂，例如DALL-E 2擅長(zhǎng)的美食攝影、公司手冊(cè)和網(wǎng)站的圖片庫(kù)，以及適用于宿舍海報(bào)或雜志封面上的插圖。

問題所在

熱心的實(shí)驗(yàn)者生成的圖像表明，盡管DALL-E 2有很多優(yōu)勢(shì)，但關(guān)于這個(gè)世界，它還需要學(xué)習(xí)很多東西。以下是3個(gè)最明顯、最引人關(guān)注的錯(cuò)誤。

文本： DALL-E 2雖然擅長(zhǎng)理解生成圖像的文本提示，卻很難將可理解的文本放入圖像，這一點(diǎn)令人感到費(fèi)解。用戶發(fā)現(xiàn)，要求放入任意類型的文本都會(huì)產(chǎn)出一堆混亂的字母。珍妮爾?肖恩（Janelle Shane）喜歡在自己的人工智能博客里利用該系統(tǒng)創(chuàng)建公司的徽標(biāo)，并觀察由此產(chǎn)生的混亂。不過，未來的版本可能會(huì)糾正該問題，因?yàn)镺penAI的GPT-3團(tuán)隊(duì)有著豐富的文本生成專業(yè)知識(shí)。肖恩：“最終，DALL-E的后繼者將能夠拼寫‘松餅屋’（Waffle House），那一天我一定會(huì)很傷心的。我還得換一種不同方式來擾亂它、找樂子?！?/p>

科學(xué)：你可以說DALL-E 2理解一些科學(xué)定律，因?yàn)樗梢暂p松地描繪掉落的物體或漂浮在太空中的宇航員。但要求它生成解剖圖、X光圖、數(shù)學(xué)證明或藍(lán)圖時(shí)，它生成的圖像看似正確，而實(shí)際上卻是完全錯(cuò)誤的。例如，要求DALL-E 2“按比例繪制太陽(yáng)系圖解插圖”，在得到的結(jié)果圖像中，地球非常奇怪，而且有太多假設(shè)的太陽(yáng)系鄰居?！癉ALL-E不懂什么是科學(xué)。它只知道怎樣閱讀文字說明，然后繪圖?！監(jiān)penAI的研究院阿迪蒂亞?拉梅什（Aditya Ramesh）說，“因此它不理解其中的含義，而試著編造一些看起來相似的東西?！?/p>

偏見：DALL-E 2被認(rèn)為是一種接受圖片和文本訓(xùn)練的多模態(tài)人工智能系統(tǒng)，會(huì)表現(xiàn)出某種形式的多模態(tài)偏見。例如，如果用戶要求它生成一名首席執(zhí)行官、一名建筑工人或者一名技術(shù)記者的圖片，它通常會(huì)根據(jù)其在訓(xùn)練數(shù)據(jù)中看到的圖片-文本對(duì)來提供男性的圖片。在發(fā)布DALL-E 2之前，OpenAI要求從事該領(lǐng)域相關(guān)工作的外部研究員來充當(dāng)“紅隊(duì)”，他們的見解有助于OpenAI評(píng)估該系統(tǒng)的風(fēng)險(xiǎn)和局限性。他們發(fā)現(xiàn)，除了表現(xiàn)有關(guān)性別的社會(huì)成見，該系統(tǒng)會(huì)過多地表現(xiàn)白人和西方傳統(tǒng)與環(huán)境。

陳認(rèn)為“我們可以采取某些機(jī)器學(xué)習(xí)緩解措施”來糾正這些偏見，該團(tuán)隊(duì)已經(jīng)采取了一些措施，例如，在訓(xùn)練期間他們發(fā)現(xiàn)，由于在訓(xùn)練數(shù)據(jù)中消除了的色情內(nèi)容，在建立的數(shù)據(jù)集中男性要多于女性，這導(dǎo)致DALL-E 2生成更多男性的圖像?！八晕覀冋{(diào)整了訓(xùn)練方法，并提高了女性圖像的權(quán)重，使其更有可能生成女性圖像?！标惤忉尩?。為了幫助DALL-E 2產(chǎn)生更多樣化的結(jié)果，用戶還可以使用“女性宇航員”或“印度婚禮”等指定性別、種族或地理位置的提示。

總之，DALL-E 2團(tuán)隊(duì)表示，他們渴望看到早期用戶在測(cè)試系統(tǒng)時(shí)發(fā)現(xiàn)的問題和故障，他們也已經(jīng)在考慮接下來的工作。“我們非常有興趣提高系統(tǒng)的整體智能。”拉梅什說，并補(bǔ)充說該團(tuán)隊(duì)希望能在“DALL-E中加深對(duì)語(yǔ)言及其與世界關(guān)系的理解”。他指出OpenAI的文本生成工具GPT-3對(duì)普通常識(shí)、科學(xué)和人類行為有著非常驚人的理解?！耙粋€(gè)充滿希望的目標(biāo)是嘗試通過DALL-E將GPT-3的知識(shí)與圖像領(lǐng)域聯(lián)系起來?！崩肥舱f。

審核編輯 ：李倩