5 月 26 日消息，微軟近期推出其小語言 AI 模型新成員“Phi-3-vision”，以卓越的“視覺”處理能力著稱，能夠深度解析圖文信息并在移動設備上穩(wěn)定運行。

據(jù)悉，Phi-3-vision 作為微軟 Phi-3 家族的首款多模態(tài)模型，繼承自 Phi-3-mini 的文本理解能力，兼具輕巧便攜特性，適用于移動平臺/嵌入式終端；模型參數(shù)規(guī)模達 42 億，遠超 Phi-3-mini（3.8B），略遜于 Phi-3-small（7B），上下文長度為 128k token，訓練時間跨度為 2024 年 2 月至 4 月。

值得關注的是，Phi-3-vision 模型的核心優(yōu)勢在于其強大的“圖文識別”功能，能夠準確理解現(xiàn)實世界圖像的內(nèi)涵，迅速識別并提取圖片中的文字信息。

微軟強調(diào)，Phi-3-vision 尤其適用于辦公場景，開發(fā)者針對圖表和方塊圖（Block diagram）識別進行了專門優(yōu)化，使其能夠根據(jù)用戶輸入信息進行推理，并生成一系列決策建議，為企業(yè)提供戰(zhàn)略參考，被譽為“媲美大型模型”的效果。

在模型訓練環(huán)節(jié)，微軟表示 Phi-3-vision 采用了“多元化圖片與文字數(shù)據(jù)”進行訓練，涵蓋了一系列“精選的公共內(nèi)容”，如“教科書級”教育素材、代碼、圖文標注數(shù)據(jù)、現(xiàn)實世界知識、圖表圖片、聊天記錄等，以保證模型輸入內(nèi)容的豐富性。此外，微軟承諾所用訓練數(shù)據(jù)“可追溯”且不含任何個人信息，充分保障用戶隱私。

在性能對比方面，微軟提供了 Phi-3-vision 與字節(jié)跳動 Llama3-Llava-Next（8B）、微軟研究院與威斯康星大學、哥倫比亞大學聯(lián)合研發(fā)的 LlaVA-1.6（7B）以及阿里巴巴通義千問 QWEN-VL-Chat 模型等競品的對比圖表，展示了 Phi-3-vision 在多項測試中的優(yōu)秀表現(xiàn)。