在電商、安防等場景下，圖文互搜應(yīng)用廣泛。隨著以CLIP為代表的多模態(tài)表征方法相繼提出，過去單一模態(tài)搜索(文搜文、圖搜圖)被突破，模型可以同時理解文本、圖像、音頻乃至視頻，實現(xiàn)跨模態(tài)檢索。

與此同時，CLIP框架也存在多種技術(shù)局限性。10月25日，在由DataFun技術(shù)社區(qū)策劃的DACon數(shù)智大會分論壇上，格靈深瞳技術(shù)副總裁、靈感實驗室負責(zé)人馮子勇博士分享專題演講：《多模態(tài)特征嵌入的數(shù)據(jù)生成和技術(shù)前沿》，介紹多模態(tài)基礎(chǔ)模型的應(yīng)用場景、技術(shù)短板，以及靈感團隊的解題方法與技術(shù)細節(jié)——靈感圖文多模態(tài)表征模型系列(Glint-ME)。

“大模型前沿技術(shù)探索”分論壇現(xiàn)場

數(shù)據(jù)生成：豐富又優(yōu)質(zhì)的多模態(tài)表征數(shù)據(jù)

多模態(tài)模型訓(xùn)練需文本和圖片成對出現(xiàn)，但現(xiàn)有數(shù)據(jù)文本質(zhì)量不佳。為此，靈感團隊提出了一個多樣化描述生成框架，將Transformer的有效并行訓(xùn)練與RNN的有效推理相結(jié)合，利用大型語言模型來精煉原始文本、合成字幕和檢測標(biāo)簽等信息，以產(chǎn)生語義豐富的描述文本。

為解決訓(xùn)練數(shù)據(jù)冗余的問題，靈感團隊提出了一種簡單但有效的圖像語義平衡方法，能夠在保持卓越性能的同時，從LAION 400M數(shù)據(jù)集中移除43.7%的圖像-文本對。

為挖掘現(xiàn)實中大量未配對的多模態(tài)數(shù)據(jù)，例如圖文交織的文檔，靈感團隊提出了一種有效且可擴展的多模態(tài)交錯文檔轉(zhuǎn)換范式，構(gòu)建了RealSyn數(shù)據(jù)集，可以將此類數(shù)據(jù)用于CLIP預(yù)訓(xùn)練。

團隊首先建立了一套真實數(shù)據(jù)提取流程，能夠從圖文交錯的文檔中提取高質(zhì)量的圖像和文本。在此基礎(chǔ)上，構(gòu)建了檢索增強生成框架，基于高質(zhì)量的文本和圖片庫，為每一張圖片匹配現(xiàn)實文本和合成文本。

RealSyn數(shù)據(jù)集包含15M、30M、100M三個規(guī)模。大量實驗證明：RealSyn具有良好的數(shù)據(jù)縮放和模型縮放能力，相關(guān)數(shù)據(jù)、代碼和模型均已開源：

技術(shù)報告：

https://arxiv.org/abs/2502.12513

代碼：

https://github.com/deepglint/RealSyn

項目主頁：

https://garygutc.github.io/RealSyn/

數(shù)據(jù)集：

https://huggingface.co/datasets/Kaichengalex/RealSyn100M

多模態(tài)特征嵌入模型：更強大的跨模態(tài)表達能力

盡管最近的多模態(tài)大型語言模型(MLLMs)在通用視覺-語言理解方面取得了顯著進展，但在學(xué)習(xí)可遷移的多模態(tài)表征方面，潛力尚未充分發(fā)揮。

為此，靈感團隊提出了一個面向MLLMs的兩階段訓(xùn)練框架UniME(Universal Multimodal Embedding，通用多模態(tài)嵌入)，并優(yōu)化迭代至V2版本——聚焦如何借助MLLMs強大的理解能力來助力統(tǒng)一多模態(tài)表征學(xué)習(xí)。

經(jīng)過MMEB基準(zhǔn)測試和在多個檢索任務(wù)(包括長短文本跨模態(tài)檢索和組合檢索)上的大量實驗，結(jié)果表明UniME-V2在多項任務(wù)中均實現(xiàn)了穩(wěn)定的性能提升，展現(xiàn)了卓越的判別能力和組合理解能力。

UniME-V2在MMEB Benchmark的表現(xiàn)

UniME-V2在長短文本跨模態(tài)檢索和組合檢索上優(yōu)于UniME-V1和其他模型

UniME系列論文、代碼、權(quán)重均已開源：

UniME-V1

技術(shù)報告：

https://arxiv.org/abs/2504.17432

代碼：

https://github.com/deepglint/UniME

模型：

https://huggingface.co/DeepGlint-AI/UniME-LLaVA-OneVision-7B

項目主頁：

https://garygutc.github.io/UniME/

UniME-V2

技術(shù)報告：

https://arxiv.org/abs/2504.17432

代碼：

https://github.com/GaryGuTC/UniME-v2

模型：

https://huggingface.co/collections/TianchengGu/unime-v2-68ef708ac48066353b4a0806

項目主頁：

https://garygutc.github.io/UniME-v2/

近期，靈感實驗室聯(lián)合LMMs-Lab發(fā)布了全流程開源的多模態(tài)大模型LLaVA-OneVision-1.5，復(fù)現(xiàn)路徑清晰，8B模型預(yù)訓(xùn)練只需4天、1.6萬美元。

LLaVA-OneVision-1.5

技術(shù)報告：

https://arxiv.org/abs/2509.23661

代碼：

https://github.com/EvolvingLMMs-Lab/LLaVA-OneVision-1.5

模型：

https://huggingface.co/lmms-lab/LLaVA-OneVision-1.5-8B-Instruct

Demo：

https://huggingface.co/spaces/lmms-lab/LLaVA-OneVision-1.5

數(shù)據(jù)集：

Pretrain Data：https://huggingface.co/datasets/lmms-lab/LLaVA-One-Vision-1.5-Mid-Training-85M

Instruct Data：https://huggingface.co/datasets/lmms-lab/LLaVA-OneVision-1.5-Insturct-Data

未來，靈感實驗室將持續(xù)聚焦視覺及多模態(tài)特征表達與應(yīng)用，推動多模態(tài)技術(shù)在多元化應(yīng)用場景的落地與創(chuàng)新。歡迎關(guān)注團隊的最新技術(shù)進展。