Hugging Face平臺(tái)于1月23日發(fā)布博文，推出了兩款令人矚目的輕量級(jí)AI模型——SmolVLM-256M-Instruct和SmolVLM-500M-Instruct。

其中，SmolVLM-256M-Instruct僅有2.56億參數(shù)，是有史以來(lái)發(fā)布的最小視覺(jué)語(yǔ)言模型，可在內(nèi)存低于1GB的PC上運(yùn)行并提供卓越性能。SmolVLM-500M-Instruct有5億參數(shù)，主要針對(duì)硬件資源限制，幫助開(kāi)發(fā)者應(yīng)對(duì)大規(guī)模數(shù)據(jù)分析挑戰(zhàn)。

這兩款模型具備先進(jìn)的多模態(tài)能力，可執(zhí)行圖像描述、短視頻分析以及回答關(guān)于PDF或科學(xué)圖表的問(wèn)題等任務(wù)。其開(kāi)發(fā)依賴于The Cauldron和Docmatix兩個(gè)專有數(shù)據(jù)集。The Cauldron包含50個(gè)高質(zhì)量圖像和文本數(shù)據(jù)集，側(cè)重于多模態(tài)學(xué)習(xí)；Docmatix專為文檔理解定制，將掃描文件與詳細(xì)標(biāo)題配對(duì)以增強(qiáng)理解。

此外，模型采用了更小的視覺(jué)編碼器SigLIP base patch-16/512，通過(guò)優(yōu)化圖像標(biāo)記處理方式，減少了冗余，還將圖像編碼速率提升至每個(gè)標(biāo)記4096像素，相比早期版本的每標(biāo)記1820像素有了顯著改進(jìn)。

Hugging Face此次推出的最小AI視覺(jué)語(yǔ)言模型，為AI在低資源設(shè)備上的應(yīng)用開(kāi)辟了新的道路。