下面這幾張圖的內(nèi)容分別是什么?你或許一眼就能看出是打麻將、競(jìng)速摩托、香檳、熊貓。

但人工智能不一定可以。

雖然人工智能已經(jīng)強(qiáng)大到可以識(shí)別萬(wàn)物，但很多AI模型只能完成單一的任務(wù)，比如識(shí)別單一的物體，或者識(shí)別風(fēng)格較為統(tǒng)一的照片，如果換一種類型或者風(fēng)格，就愛(ài)莫能助。

現(xiàn)在，有一位“書(shū)生”，對(duì)于這不同類型的圖，它都能較為準(zhǔn)確地識(shí)別出其中的內(nèi)容，包括圖畫(huà)。

這需要有獨(dú)特的模型訓(xùn)練及標(biāo)簽體系，也要求模型具有一定的通用性，這樣才能對(duì)不同類型的圖片做出準(zhǔn)確的描述。

這位“書(shū)生”正是去年11月，由上海人工智能實(shí)驗(yàn)室聯(lián)合商湯科技、香港中文大學(xué)、上海交通大學(xué)，聯(lián)合發(fā)布的通用視覺(jué)技術(shù)體系“書(shū)生”(INTERN)。

今天，為了幫助業(yè)界更好地探索通用視覺(jué)AI技術(shù)，基于“書(shū)生”技術(shù)體系的通用視覺(jué)平臺(tái)OpenGVLab正式發(fā)布并開(kāi)源。

OpenGVLab開(kāi)放的內(nèi)容包括其超高效預(yù)訓(xùn)練模型，和千萬(wàn)級(jí)精標(biāo)注、十萬(wàn)級(jí)標(biāo)簽量的公開(kāi)數(shù)據(jù)集，為全球開(kāi)發(fā)者提升各類下游視覺(jué)任務(wù)模型訓(xùn)練提供重要支持。

同時(shí)，OpenGVLab還同步開(kāi)放業(yè)內(nèi)首個(gè)針對(duì)通用視覺(jué)模型的評(píng)測(cè)基準(zhǔn)，便于開(kāi)發(fā)者對(duì)不同通用視覺(jué)模型的性能進(jìn)行橫向評(píng)估和持續(xù)調(diào)優(yōu)。

目前OpenGVLab開(kāi)源平臺(tái)(opengvlab.shlab.org.cn)已正式上線，供各界研究人員訪問(wèn)和使用，后續(xù)項(xiàng)目還將開(kāi)通在線推理功能，供所有對(duì)人工智能視覺(jué)技術(shù)感興趣的社會(huì)人士自由體驗(yàn)。

超高性能模型，展現(xiàn)極強(qiáng)的通用性

OpenGVLab繼承了“書(shū)生”體系的技術(shù)優(yōu)勢(shì)，其開(kāi)源的預(yù)訓(xùn)練模型具有超高的性能和通用性。

具體而言，相較于當(dāng)前最強(qiáng)開(kāi)源模型(OpenAI 于2021年發(fā)布的CLIP)，OpenGVLab的模型可全面覆蓋分類、目標(biāo)檢測(cè)、語(yǔ)義分割、深度估計(jì)四大視覺(jué)核心任務(wù)，在準(zhǔn)確率和數(shù)據(jù)使用效率上均取得大幅提升。

基于同樣的下游場(chǎng)景數(shù)據(jù)，開(kāi)源模型在分類、目標(biāo)檢測(cè)、語(yǔ)義分割及深度估計(jì)四大任務(wù)26個(gè)數(shù)據(jù)集上，平均錯(cuò)誤率分別降低了40.2%、47.3%、34.8%和9.4%。

開(kāi)源模型在分類、檢測(cè)、分割和深度估計(jì)中，僅用10%的下游訓(xùn)練數(shù)據(jù)就超過(guò)了現(xiàn)有其他開(kāi)源模型。

使用此模型，研究人員可以大幅降低下游數(shù)據(jù)采集成本，用極低的數(shù)據(jù)量，即可快速滿足多場(chǎng)景、多任務(wù)的AI模型訓(xùn)練。

OpenGVLab還提供多種不同參數(shù)量、不同計(jì)算量的預(yù)訓(xùn)練模型，以滿足不同場(chǎng)景的應(yīng)用。模型庫(kù)中列出了多個(gè)模型，其在ImageNet的微調(diào)結(jié)果和推理資源、速度，相比于之前的公開(kāi)模型均有不同程度的性能提升。

開(kāi)放千萬(wàn)級(jí)精標(biāo)注數(shù)據(jù)集

高性能的模型，離不開(kāi)豐富數(shù)據(jù)集的訓(xùn)練。

除了預(yù)訓(xùn)練模型，以百億數(shù)據(jù)總量為基礎(chǔ)，上海人工智能實(shí)驗(yàn)室構(gòu)建了超大量級(jí)的精標(biāo)注數(shù)據(jù)集，近期將進(jìn)行數(shù)據(jù)開(kāi)源工作。

超大量級(jí)的精標(biāo)注數(shù)據(jù)集不僅整合了現(xiàn)有的開(kāi)源數(shù)據(jù)集，還通過(guò)大規(guī)模數(shù)據(jù)圖像標(biāo)注任務(wù)，實(shí)現(xiàn)了對(duì)圖像分類、目標(biāo)檢測(cè)以及圖像分割等任務(wù)的覆蓋，數(shù)據(jù)總量級(jí)近七千萬(wàn)。開(kāi)源范圍涵蓋千萬(wàn)級(jí)精標(biāo)注數(shù)據(jù)集和十萬(wàn)級(jí)標(biāo)簽體系。

目前，圖像分類任務(wù)數(shù)據(jù)集已率先開(kāi)源，后續(xù)還將開(kāi)源目標(biāo)檢測(cè)任務(wù)等更多數(shù)據(jù)集。

此外，此次開(kāi)源的超大標(biāo)簽體系，不僅幾乎覆蓋了所有現(xiàn)有開(kāi)源數(shù)據(jù)集，并在此基礎(chǔ)上擴(kuò)充了大量細(xì)粒度標(biāo)簽，涵蓋各類圖像中的屬性、狀態(tài)等，極大豐富了圖像任務(wù)的應(yīng)用場(chǎng)景，顯著降低下游數(shù)據(jù)的采集成本。

研究人員還可以通過(guò)自動(dòng)化工具添加更多標(biāo)簽，對(duì)數(shù)據(jù)標(biāo)簽體系進(jìn)行持續(xù)擴(kuò)展和延伸，不斷提高標(biāo)簽體系的細(xì)粒度，共同促進(jìn)開(kāi)源生態(tài)繁榮發(fā)展。

首個(gè)通用視覺(jué)評(píng)測(cè)基準(zhǔn)

伴隨OpenGVLab的發(fā)布，上海人工智能實(shí)驗(yàn)室還開(kāi)放了業(yè)內(nèi)首個(gè)針對(duì)通用視覺(jué)模型的評(píng)測(cè)基準(zhǔn)，彌補(bǔ)通用視覺(jué)模型評(píng)測(cè)領(lǐng)域的空白。

當(dāng)前，行業(yè)中已有的評(píng)測(cè)基準(zhǔn)主要針對(duì)單一任務(wù)、單一視覺(jué)維度設(shè)計(jì)，無(wú)法反映通用視覺(jué)模型的整體性能，難以用于橫向比較。

全新的通用視覺(jué)評(píng)測(cè)基準(zhǔn)憑借在任務(wù)、數(shù)據(jù)等層面的創(chuàng)新設(shè)計(jì)，可以提供權(quán)威的評(píng)測(cè)結(jié)果，推動(dòng)統(tǒng)一標(biāo)準(zhǔn)上的公平和準(zhǔn)確評(píng)測(cè)，加快通用視覺(jué)模型的產(chǎn)業(yè)化應(yīng)用步伐。

在任務(wù)設(shè)計(jì)上，OpenGVLab提供的通用視覺(jué)評(píng)測(cè)基準(zhǔn)創(chuàng)新地引入了多任務(wù)評(píng)測(cè)體系，可以從分類、目標(biāo)檢測(cè)、語(yǔ)義分割、深度估計(jì)、行為識(shí)別等5類任務(wù)方向，對(duì)模型的通用性能進(jìn)行整體評(píng)估。

不僅如此，該評(píng)測(cè)基準(zhǔn)新加了僅用測(cè)試數(shù)據(jù)集10%數(shù)據(jù)量的評(píng)測(cè)設(shè)定，可以有效評(píng)估通用模型在真實(shí)數(shù)據(jù)分布下的小樣本學(xué)習(xí)能力。在測(cè)試后，評(píng)測(cè)基準(zhǔn)還會(huì)根據(jù)模型的評(píng)測(cè)結(jié)果給出相應(yīng)的總分，方便使用者對(duì)不同的模型進(jìn)行橫向評(píng)測(cè)。

隨著人工智能與產(chǎn)業(yè)融合的不斷深入，行業(yè)對(duì)人工智能的需求逐漸從單一任務(wù)向復(fù)雜的多任務(wù)協(xié)同發(fā)展，亟需構(gòu)建開(kāi)源、開(kāi)放的體系，以滿足趨于碎片化和長(zhǎng)尾化的海量應(yīng)用需求。

OpenGVLab的開(kāi)源，將幫助開(kāi)發(fā)者顯著降低通用視覺(jué)模型的開(kāi)發(fā)門檻，用更低成本快速開(kāi)發(fā)用于成百上千種視覺(jué)任務(wù)、視覺(jué)場(chǎng)景的算法模型，高效實(shí)現(xiàn)對(duì)長(zhǎng)尾場(chǎng)景的覆蓋，推動(dòng)通用AI技術(shù)的規(guī)?；瘧?yīng)用。

歡迎大家加入OpenGVLab，一起構(gòu)筑通用AI生態(tài)。

原文標(biāo)題：通用視覺(jué)研究利器來(lái)了!OpenGVLab平臺(tái)正式開(kāi)源

文章出處：【微信公眾號(hào)：商湯科技SenseTime】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅