CVPR 2023 | 清華大學(xué)提出LiVT，用視覺(jué)Transformer學(xué)習(xí)長(zhǎng)尾數(shù)據(jù)
?背景
在機(jī)器學(xué)習(xí)領(lǐng)域中，學(xué)習(xí)不平衡的標(biāo)注數(shù)據(jù)一直是一個(gè)常見(jiàn)而具有挑戰(zhàn)性的任務(wù)。近年來(lái)，視覺(jué) Transformer 作為一種強(qiáng)大的模型，在多個(gè)視覺(jué)任務(wù)上展現(xiàn)出令人滿意的效果。然而，視覺(jué) Transformer 處理長(zhǎng)尾分布數(shù)據(jù)的能力和特性，還有待進(jìn)一步挖掘。
目前，已有的長(zhǎng)尾識(shí)別模型很少直接利用長(zhǎng)尾數(shù)據(jù)對(duì)視覺(jué) Transformer（ViT）進(jìn)行訓(xùn)練?；诂F(xiàn)成的預(yù)訓(xùn)練權(quán)重進(jìn)行研究可能會(huì)導(dǎo)致不公平的比較結(jié)果，因此有必要對(duì)視覺(jué) Transformer 在長(zhǎng)尾數(shù)據(jù)下的表現(xiàn)進(jìn)行系統(tǒng)性的分析和總結(jié)。
論文鏈接：
https://arxiv.org/abs/2212.02015代碼鏈接：
https://github.com/XuZhengzhuo/LiVT 本文旨在填補(bǔ)這一研究空白，詳細(xì)探討了視覺(jué) Transformer 在處理長(zhǎng)尾數(shù)據(jù)時(shí)的優(yōu)勢(shì)和不足之處。本文將重點(diǎn)關(guān)注如何有效利用長(zhǎng)尾數(shù)據(jù)來(lái)提升視覺(jué) Transformer 的性能，并探索解決數(shù)據(jù)不平衡問(wèn)題的新方法。通過(guò)本文的研究和總結(jié)，研究團(tuán)隊(duì)有望為進(jìn)一步改進(jìn)視覺(jué) Transformer 模型在長(zhǎng)尾數(shù)據(jù)任務(wù)中的表現(xiàn)提供有益的指導(dǎo)和啟示。這將為解決現(xiàn)實(shí)世界中存在的數(shù)據(jù)不平衡問(wèn)題提供新的思路和解決方案。 文章通過(guò)一系列實(shí)驗(yàn)發(fā)現(xiàn)，在有監(jiān)督范式下，視覺(jué) Transformer 在處理不平衡數(shù)據(jù)時(shí)會(huì)出現(xiàn)嚴(yán)重的性能衰退，而使用平衡分布的標(biāo)注數(shù)據(jù)訓(xùn)練出的視覺(jué) Transformer 呈現(xiàn)出明顯的性能優(yōu)勢(shì)。相比于卷積網(wǎng)絡(luò)，這一特點(diǎn)在視覺(jué) Transformer 上體現(xiàn)的更為明顯。另一方面，無(wú)監(jiān)督的預(yù)訓(xùn)練方法無(wú)需標(biāo)簽分布，因此在相同的訓(xùn)練數(shù)據(jù)量下，視覺(jué) Transformer 可以展現(xiàn)出類似的特征提取和重建能力。 基于以上觀察和發(fā)現(xiàn)，研究提出了一種新的學(xué)習(xí)不平衡數(shù)據(jù)的范式，旨在讓視覺(jué) Transformer 模型更好地適應(yīng)長(zhǎng)尾數(shù)據(jù)。通過(guò)這種范式的引入，研究團(tuán)隊(duì)希望能夠充分利用長(zhǎng)尾數(shù)據(jù)的信息，提高視覺(jué) Transformer 模型在處理不平衡標(biāo)注數(shù)據(jù)時(shí)的性能和泛化能力。
?文章貢獻(xiàn)
本文是第一個(gè)系統(tǒng)性的研究用長(zhǎng)尾數(shù)據(jù)訓(xùn)練視覺(jué) Transformer 的工作，在此過(guò)程中，做出了以下主要貢獻(xiàn)：
首先，本文深入分析了傳統(tǒng)有監(jiān)督訓(xùn)練方式對(duì)視覺(jué) Transformer 學(xué)習(xí)不均衡數(shù)據(jù)的限制因素，并基于此提出了雙階段訓(xùn)練流程，將視覺(jué) Transformer 模型內(nèi)在的歸納偏置和標(biāo)簽分布的統(tǒng)計(jì)偏置分階段學(xué)習(xí)，以降低學(xué)習(xí)長(zhǎng)尾數(shù)據(jù)的難度。其中第一階段采用了流行的掩碼重建預(yù)訓(xùn)練，第二階段采用了平衡的損失進(jìn)行微調(diào)監(jiān)督。
?
?其次，本文提出了平衡的二進(jìn)制交叉熵?fù)p失函數(shù)，并給出了嚴(yán)格的理論推導(dǎo)。平衡的二進(jìn)制交叉熵?fù)p失的形式如下：
?
?與之前的平衡交叉熵?fù)p失相比，本文的損失函數(shù)在視覺(jué) Transformer 模型上展現(xiàn)出更好的性能，并且具有更快的收斂速度。研究中的理論推導(dǎo)為損失函數(shù)的合理性提供了嚴(yán)密的解釋，進(jìn)一步加強(qiáng)了我們方法的可靠性和有效性。
▲不同損失函數(shù)的收斂速度的比較
基于以上貢獻(xiàn)，文章提出了一個(gè)全新的學(xué)習(xí)范式 LiVT，充分發(fā)揮視覺(jué) Transformer 模型在長(zhǎng)尾數(shù)據(jù)上的學(xué)習(xí)能力，顯著提升模型在多個(gè)數(shù)據(jù)集上的性能。該方案在多個(gè)數(shù)據(jù)集上取得了遠(yuǎn)好于視覺(jué) Transformer 基線的性能表現(xiàn)。
▲不同參數(shù)量下在ImageNet-LT上的準(zhǔn)確性
▲在ImagNet-LT（左）和iNaturalist18（右）數(shù)據(jù)集上的性能表現(xiàn)同時(shí)，本文還驗(yàn)證了在相同的訓(xùn)練數(shù)據(jù)規(guī)模的情況下，使用ImageNet的長(zhǎng)尾分布子集（LT）和平衡分布子集（BAL）訓(xùn)練的 ViT-B 模型展現(xiàn)出相近的重建能力。如 LT-Large-1600 列所示，在 ImageNet-LT 數(shù)據(jù)集中，可以通過(guò)更大的模型和 MGP epoch 獲得更好的重建結(jié)果。
?
?
?總結(jié)
本文提供了一種新的基于視覺(jué) Transformer 處理不平衡數(shù)據(jù)的方法 LiVT。LiVT 利用掩碼建模和平衡微調(diào)兩個(gè)階段的訓(xùn)練策略，使得視覺(jué) Transformer 能夠更好地適應(yīng)長(zhǎng)尾數(shù)據(jù)分布并學(xué)習(xí)到更通用的特征表示。該方法不僅在實(shí)驗(yàn)中取得了顯著的性能提升，而且無(wú)需額外的數(shù)據(jù)，具有實(shí)際應(yīng)用的可行性。 論文的更多細(xì)節(jié)請(qǐng)參考論文原文和補(bǔ)充材料。
原文標(biāo)題：CVPR 2023 | 清華大學(xué)提出LiVT，用視覺(jué)Transformer學(xué)習(xí)長(zhǎng)尾數(shù)據(jù)
文章出處：【微信公眾號(hào)：智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
物聯(lián)網(wǎng)
+關(guān)注
關(guān)注
2950文章
48151瀏覽量
418886
原文標(biāo)題：CVPR 2023 | 清華大學(xué)提出LiVT，用視覺(jué)Transformer學(xué)習(xí)長(zhǎng)尾數(shù)據(jù)
文章出處：【微信號(hào)：tyutcsplab，微信公眾號(hào)：智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
博世與清華大學(xué)簽約，共同探索碳中和領(lǐng)域前沿技術(shù)研究合作
4月23日，博世集團(tuán)董事會(huì)主席史蒂凡?哈通博士 (Stefan Hartung) 一行訪問(wèn)清華大學(xué)。校長(zhǎng)李路明在工字廳東廳會(huì)見(jiàn)來(lái)賓，并共同出席清華大學(xué)與博世合作簽約儀式，雙方共同探索碳中和領(lǐng)域
清華大學(xué)體育鍛煉數(shù)字化案例：基于藍(lán)牙物聯(lián)網(wǎng)的學(xué)生運(yùn)動(dòng)健康管理
的“黑箱”問(wèn)題：學(xué)校難以統(tǒng)計(jì)跑圈圈數(shù)、難以依據(jù)客觀數(shù)據(jù)調(diào)整運(yùn)動(dòng)強(qiáng)度。通過(guò)部署桂花網(wǎng)藍(lán)牙網(wǎng)關(guān)（M1500-XT與X2000），配合學(xué)生佩戴的藍(lán)牙手環(huán)，清華大學(xué)構(gòu)建了一套覆蓋操場(chǎng)和室內(nèi)場(chǎng)館的運(yùn)動(dòng)監(jiān)測(cè)網(wǎng)絡(luò)，將
發(fā)表于 04-15 17:31
清華大學(xué)電子工程系到訪天數(shù)智芯參觀交流
近日，清華大學(xué)電子工程系、清華校友總會(huì)電子工程系分會(huì)、清華大學(xué)上海校友會(huì)電子信息專委會(huì)組織師生、校友代表到訪天數(shù)智芯，開(kāi)展深度校企交流活動(dòng)，共話國(guó)產(chǎn)算力創(chuàng)新與產(chǎn)學(xué)研協(xié)同發(fā)展。
沐曦股份聯(lián)合清華大學(xué)發(fā)布磁性材料AI原子基座模型
2月27日，沐曦股份聯(lián)合清華大學(xué)等多家研究機(jī)構(gòu)聯(lián)合發(fā)布了磁性材料AI原子基座模型。該模型是首個(gè)覆蓋寬溫壓域的磁性材料AI原子模型，經(jīng)權(quán)威專家鑒定，整體技術(shù)水平達(dá)到國(guó)際領(lǐng)先。
清華大學(xué)“啟·創(chuàng)”計(jì)劃走進(jìn)拓維信息，校企共探AI時(shí)代產(chǎn)學(xué)研合作新范式
1月13日，清華大學(xué)“啟·創(chuàng)”計(jì)劃第十三期赴湘社會(huì)實(shí)踐活動(dòng)暨TalkwebHouse創(chuàng)業(yè)私董會(huì)第二期在拓維信息圓滿舉辦。清華大學(xué)創(chuàng)業(yè)團(tuán)隊(duì)20余名師生，與拓維信息團(tuán)隊(duì)深入對(duì)話，圍繞“AI+”產(chǎn)業(yè)融合
沐曦與Arm、熠知一同到訪清華大學(xué)交流座談
為助力頂尖學(xué)府清華大學(xué)在“AI+教科研”領(lǐng)域取得新突破，培養(yǎng)具備AI創(chuàng)新能力的人才，1月12日，沐曦集成電路（上海）股份有限公司（股票代碼：688802）、半導(dǎo)體頭部企業(yè)Arm控股有限公司（納斯達(dá)克
時(shí)識(shí)科技DAVIS346傳感器助力清華大學(xué)突破LIBS技術(shù)瓶頸
近日，清華大學(xué)深圳國(guó)際研究生院王希林教授團(tuán)隊(duì)創(chuàng)新性地引入時(shí)識(shí)科技(SynSense)的類腦動(dòng)態(tài)視覺(jué)傳感器DAVIS346，首次將動(dòng)態(tài)視覺(jué)傳感器(DVS)技術(shù)應(yīng)用于激光誘導(dǎo)等離子體光學(xué)信號(hào)的捕獲，并以
普華基礎(chǔ)軟件走進(jìn)清華大學(xué)研究生課堂
近日，普華基礎(chǔ)軟件走進(jìn)清華大學(xué)車輛與運(yùn)載學(xué)院，在《車輛控制工程》課堂上開(kāi)展研究生專題授課和交流。本次授課聚焦智能駕駛汽車基礎(chǔ)軟件發(fā)展與關(guān)鍵技術(shù)，旨在搭建校企知識(shí)傳遞橋梁，為高校學(xué)子帶來(lái)產(chǎn)業(yè)前沿視角，助力培養(yǎng)符合行業(yè)需求的復(fù)合型人才。
清華大學(xué)企業(yè)家協(xié)會(huì)一行到訪立訊精密參觀交流
11月14日上午，立訊精密CPBG事業(yè)群與技術(shù)委員會(huì)在昆山園區(qū)，熱情接待了到訪的清華大學(xué)企業(yè)家協(xié)會(huì)(TEEC)一行。此次交流，不僅是一次企業(yè)展示，更是一次思想碰撞與智慧交融的契機(jī)。
愛(ài)芯元智出席第四屆清華大學(xué)汽車芯片設(shè)計(jì)及產(chǎn)業(yè)應(yīng)用研討會(huì)
近日，第四屆清華大學(xué)汽車芯片設(shè)計(jì)及產(chǎn)業(yè)應(yīng)用研討會(huì)暨校友論壇在蘇州市吳江區(qū)舉行。作為清華大學(xué)自動(dòng)化系校友，愛(ài)芯元智創(chuàng)始人兼董事長(zhǎng)仇肖莘博士應(yīng)邀發(fā)表主旨演講，深入剖析了高智價(jià)比AI芯片推動(dòng)智能汽車普惠發(fā)展的實(shí)施路徑。
地平線H-RDT模型斬獲CVPR 2025大賽冠軍
近日，在計(jì)算機(jī)視覺(jué)與模式識(shí)別領(lǐng)域頂級(jí)會(huì)議CVPR 2025舉辦的RoboTwin雙臂機(jī)器人競(jìng)賽中，地平線機(jī)器人實(shí)驗(yàn)室與清華大學(xué)計(jì)算機(jī)系朱軍團(tuán)隊(duì)聯(lián)合提出的H-RDT憑強(qiáng)大性能和領(lǐng)先成功率
清華大學(xué)五道口金融學(xué)院走進(jìn)賽目科技
近日，聚焦自動(dòng)駕駛未來(lái)路徑的專題沙龍?jiān)谥嘘P(guān)村國(guó)際創(chuàng)新大廈成功舉辦。此次活動(dòng)由清華大學(xué)五道口金融學(xué)院主辦，北京賽目科技股份有限公司、北京海新域城市更新集團(tuán)提供活動(dòng)支持，為清華－康奈爾雙學(xué)位金融MBA項(xiàng)目在讀學(xué)生及校友、自動(dòng)駕駛領(lǐng)域的頂尖專家、企業(yè)家們搭建了一個(gè)交流與碰撞的平
清華大學(xué)TOP EE+項(xiàng)目參訪美光上海
此前，2025年6月4日至6日，清華大學(xué)TOP EE+ 項(xiàng)目于美光上海的參訪活動(dòng)圓滿舉行。為期三天的活動(dòng)匯聚了來(lái)自清華大學(xué)電子工程系的優(yōu)秀留學(xué)生與美光的多位管理者和工程師，展開(kāi)了深入的技術(shù)交流與文化互動(dòng)之旅。
從清華大學(xué)到鎵未來(lái)科技，張大江先生在半導(dǎo)體功率器件十八年的堅(jiān)守！
從清華大學(xué)到鎵未來(lái)科技，張大江先生在半導(dǎo)體功率器件十八年的堅(jiān)守！近年來(lái)，珠海市鎵未來(lái)科技有限公司（以下簡(jiǎn)稱“鎵未來(lái)”）在第三代半導(dǎo)體行業(yè)異軍突起，憑借領(lǐng)先的氮化鎵（GaN）技術(shù)儲(chǔ)備和不斷推出的新產(chǎn)品
發(fā)表于 05-19 10:16
清華大學(xué)攜手華為打造業(yè)內(nèi)首個(gè)園區(qū)網(wǎng)絡(luò)智能體
清華大學(xué)響應(yīng)國(guó)家教育新基建戰(zhàn)略，正在加速推進(jìn)網(wǎng)絡(luò)管理平臺(tái)升級(jí)：為滿足在線教育、協(xié)同創(chuàng)新及智慧校園的發(fā)展需求，為清華大學(xué)躋身世界一流大學(xué)創(chuàng)造基礎(chǔ)條件，清華大學(xué)攜手華為打造業(yè)內(nèi)首個(gè)園區(qū)網(wǎng)絡(luò)
評(píng)論