圖 1：基于深度學(xué)習(xí)的目標(biāo)檢測可定位已訓(xùn)練的目標(biāo)類別，并通過矩形框（邊界框）對其進行標(biāo)識。

在討論人工智能（AI）或深度學(xué)習(xí)時，經(jīng)常會出現(xiàn)“神經(jīng)網(wǎng)絡(luò)”、“黑箱”、“標(biāo)注”等術(shù)語。這些概念對非專業(yè)人士而言往往難以理解，人們也常常誤以為需要扎實的編程技能才能真正掌握并合理使用這項技術(shù)。事實上，這種印象忽視了該技術(shù)為機器視覺（乃至生產(chǎn)自動化）帶來的潛力，因為深度學(xué)習(xí)并非只屬于計算機科學(xué)家或程序員。

從頭開始：什么是深度學(xué)習(xí)？

作為機器學(xué)習(xí)的子集，深度學(xué)習(xí)基于多層神經(jīng)網(wǎng)絡(luò)，它們能夠逼真地模擬人腦的復(fù)雜結(jié)構(gòu)和過程，并獨立做出決策。在全面的訓(xùn)練過程中，深度學(xué)習(xí)模型通過分析數(shù)據(jù)學(xué)習(xí)識別特定模式和關(guān)系。

那么，深度學(xué)習(xí)技術(shù)為何在機器視覺領(lǐng)域如此成功呢？因為機器視覺會產(chǎn)生海量的圖像數(shù)據(jù)，這為神經(jīng)網(wǎng)絡(luò)的有效訓(xùn)練提供了完美基礎(chǔ)。與此同時，用戶也能從深度學(xué)習(xí)技術(shù)中獲益：深度學(xué)習(xí)能提供的識別率達到了新的質(zhì)量水平，這也使得全新的機器視覺自動化應(yīng)用成為可能。

整體而言，深度學(xué)習(xí)為機器視覺注入了新的發(fā)展動力，因此越來越多人認(rèn)為深度學(xué)習(xí)值得使用。許多大大小小的公司都在考慮引入AI或深度學(xué)習(xí)，但往往因某些顧慮而遲遲未有行動。實際上，使用該技術(shù)并不像他們想象的那么復(fù)雜，目前也有工具能簡化深度學(xué)習(xí)的應(yīng)用流程。

適配不同應(yīng)用的深度學(xué)習(xí)方法

在落地實踐中，最核心的問題是：你究竟想自動化什么任務(wù)？集成商、工廠運營商、機器制造商可使用的深度學(xué)習(xí)方法，正在不斷增多。

（1）異常檢測

異常檢測能快速輕松地識別缺陷，使質(zhì)量管理流程中的缺陷檢測效率大大提高。其最大的優(yōu)勢在于：傳統(tǒng)深度學(xué)習(xí)方法相比，該技術(shù)需要更少的訓(xùn)練數(shù)據(jù)—— 完整的訓(xùn)練只需 20~100 張圖像。而且，異常檢測僅需“正常圖像”即可滿足要求，這使訓(xùn)練數(shù)據(jù)集的生成速度大大加快?；谡D像訓(xùn)練的異常檢測模型，能夠識別與訓(xùn)練圖像的結(jié)構(gòu)偏差（即異常），從而檢測出此前未知的缺陷形態(tài)。

（2）全局背景異常檢測

全局背景異常檢測更進一步，它能識別全新的異常類型，如部件缺失、變形或排列錯誤。因此，缺陷檢測不再局限于結(jié)構(gòu)缺陷，還涵蓋了邏輯異常，這為半導(dǎo)體制造中的印刷電路板檢測、印刷驗證等全新場景開辟了道路。

編輯

?

圖2：基于深度學(xué)習(xí)的全局上下文異常檢測技術(shù)，可以實現(xiàn)半導(dǎo)體生產(chǎn)中印刷電路板的可靠檢測。

（3）分類

分類利用圖像數(shù)據(jù)將對象歸屬于特定類別或等級，例如“合格品”或“不良品”。這使得每張圖像都能以一定概率確定其所屬類別。

（4）目標(biāo)檢測

基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)，能定位目標(biāo)的位置并識別其類別。該過程能夠識別不同目標(biāo)類別和實例的各種目標(biāo)實體，包括它們在圖像中的位置。

（5）分割

基于深度學(xué)習(xí)的分割有兩種類型：語義分割和實例分割。

· 語義分割：對經(jīng)過訓(xùn)練的目標(biāo)、結(jié)構(gòu)和缺陷進行像素級精確定位。在此過程中，圖像中的每個像素都會被分配類別標(biāo)簽，并基于訓(xùn)練數(shù)據(jù)“教導(dǎo)”模型，使其能夠?qū)π聢D像中的每個像素的所屬類別進行高概率預(yù)測。這種方法使得執(zhí)行此前無法實現(xiàn)或僅能通過大量編程工作才能完成的檢測任務(wù)成為可能。

· 實例分割：結(jié)合了語義分割和目標(biāo)檢測的雙重優(yōu)勢，能以像素級精度為不同目標(biāo)分配類別標(biāo)簽。該技術(shù)特別適用于物體緊密排列、相互接觸或重疊的應(yīng)用場景，典型應(yīng)用包括從料箱中隨機抓取散放工件（料箱隨機抓取），以及識別和測量自然生長的結(jié)構(gòu)。

（6）邊緣提取

這是一種基于深度學(xué)習(xí)的可靠的創(chuàng)新性邊緣提取方法，它能夠從圖像中大量可見的邊緣中精準(zhǔn)地提取目標(biāo)邊緣。該技術(shù)即使在低對比度或強噪聲環(huán)境下也能穩(wěn)定識別邊緣，可提取傳統(tǒng)邊緣識別濾波器無法識別的邊緣。該技術(shù)通常與基于規(guī)則的機器視覺方法結(jié)合使用。

?

圖 3A：使用深度學(xué)習(xí)的光學(xué)字符識別（OCR）示例，即深度 OCR。

?

圖3B：未使用深度學(xué)習(xí)時，光學(xué)字符識別（OCR）的結(jié)果精度低于深度 OCR。

（7）深度 OCR（光學(xué)字符識別）

基于深度學(xué)習(xí)算法的 OCR 被稱為深度 OCR，即使在挑戰(zhàn)性條件下（如識別傾斜文本、變形字符、印在或蝕刻在反光表面上的字符，或高紋理彩色背景上的字符）也能輸出可靠結(jié)果。深度 OCR 可以自動對字符分組以識別單詞，避免相似字符的誤判，從而提升識別性能。

（8）深度計數(shù)

深度計數(shù)可快速定位和計數(shù)大量目標(biāo)，不僅基于部件形狀，還通過深度學(xué)習(xí)整合顏色、圖案或紋理等其他特征。其顯著優(yōu)勢在于，即使目標(biāo)由高反光或無定形材料制成，也能實現(xiàn)可靠計數(shù)，還能可靠記錄大量相互接觸或部分重疊的目標(biāo)。因此，該技術(shù)非常適合食品飲料行業(yè)中各類產(chǎn)品的計數(shù)，以及螺母、螺栓等小物件的精準(zhǔn)包裝核驗。

深度學(xué)習(xí)的最佳應(yīng)用場景在哪里？

深度學(xué)習(xí)開辟了全新的應(yīng)用領(lǐng)域，讓更多不熟悉機器視覺或不愿自己編寫算法的人，也能使用機器視覺。AI系統(tǒng)通?？赏ㄟ^自有圖像文件進行設(shè)置，其優(yōu)勢在于：通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)，AI系統(tǒng)往往能比傳統(tǒng)算法輸出更可靠的檢測結(jié)果。例如，當(dāng)所有目標(biāo)外觀完全相同時，傳統(tǒng)的匹配算法才表現(xiàn)良好；但當(dāng)數(shù)據(jù)存在大量變化時（如果蔬的自然差異，此時很難提前明確定義傳統(tǒng)特征，如怎樣的表面算合格？），AI系統(tǒng)則更具優(yōu)勢。AI系統(tǒng)的另一個應(yīng)用場景是對質(zhì)量標(biāo)準(zhǔn)要求極高的生產(chǎn)制造領(lǐng)域。

圖 4：深度計數(shù)可用于快速且可靠地對大量目標(biāo)（如玻璃瓶）進行計數(shù)。

某些企業(yè)的生產(chǎn)線幾乎零缺陷，因此無法為基于規(guī)則的系統(tǒng)提供缺陷樣本圖像——畢竟瑕疵可能萬中無一，且缺陷形態(tài)事前無法預(yù)知?；贏I的異常檢測技術(shù)此時便能大顯身手：該技術(shù)無需預(yù)知缺陷特征，僅需學(xué)習(xí)良品特征即可建立檢測模型。這類應(yīng)用在傳統(tǒng)規(guī)則編程框架下是無法實現(xiàn)的。

然而，實現(xiàn)完美機器視覺應(yīng)用的最佳途徑，在于將深度學(xué)習(xí)算法與基于規(guī)則的機器視覺技術(shù)雙劍合璧。典型應(yīng)用場景如下：企業(yè)利用AI進行預(yù)分類，以精準(zhǔn)定位待測興趣區(qū)域（ROI），再通過傳統(tǒng)方法在該區(qū)域內(nèi)執(zhí)行高精度測量。這種協(xié)同策略不僅能提升整體檢測效率，也能獲得更準(zhǔn)確的檢測結(jié)果。

如何在機器視覺中啟用深度學(xué)習(xí)？

要在機器視覺應(yīng)用中部署深度學(xué)習(xí)，首先要構(gòu)建經(jīng)典的機器視覺硬件：包含工業(yè)相機、適配的光源及高性能計算設(shè)備（如配備高性能 CPU 或 GPU的工控機）。而整套系統(tǒng)的核心是強大的機器視覺軟件，這可以從 MVTec 等多家公司獲取。

（1）深度學(xué)習(xí)訓(xùn)練中的圖像數(shù)據(jù)優(yōu)化準(zhǔn)備

實施深度學(xué)習(xí)應(yīng)用需首先完成訓(xùn)練圖像的標(biāo)注——即在圖像中標(biāo)記出模型應(yīng)輸出的目標(biāo)信息，包括圖像類別或物體位置坐標(biāo)。配備直觀用戶界面的標(biāo)注軟件，即使是不具備編程技能的初學(xué)者也能輕松操作。進行數(shù)據(jù)準(zhǔn)備時需注意：圖像數(shù)據(jù)必須經(jīng)過優(yōu)化處理。

值得注意的是，某些深度學(xué)習(xí)技術(shù)（如異常檢測等無監(jiān)督方法）僅需“正常圖像”即可訓(xùn)練，通常獲取20至100幅良品圖像即可滿足需求（具體數(shù)量需視被檢物體狀態(tài)而定）。訓(xùn)練過程更可一鍵啟動。

（2）窺探深度學(xué)習(xí)的“黑箱”

盡管深度學(xué)習(xí)常因決策過程不透明而受到詬病，但是一些最新的技術(shù)進展正在逐步揭示神經(jīng)網(wǎng)絡(luò)的內(nèi)在運作機制。例如，通過熱力圖工具高亮圖像中的決策關(guān)鍵區(qū)域（如圖5），這是追蹤或影響深度學(xué)習(xí)算法行為的一種方式。

圖5：熱力圖通過高亮圖像中的決策依據(jù)區(qū)域，有效提升深度學(xué)習(xí)推理的透明度。

借助“分布外檢測”（OOD）技術(shù)，可以在運行過程中識別由錯誤分類導(dǎo)致的意外行為，并采取相應(yīng)措施。使用深度學(xué)習(xí)分類器時，系統(tǒng)通常會將未知目標(biāo)分配到已學(xué)習(xí)的類別中，這可能會存在問題，尤其是在遇到之前從未見過的錯誤類型或異物時。這項新的深度學(xué)習(xí)功能，會在將未知目標(biāo)分類到訓(xùn)練數(shù)據(jù)中未包含的范圍時提醒用戶。例如，若系統(tǒng)僅針對帶紅色標(biāo)簽或黃色標(biāo)簽的瓶子訓(xùn)練，當(dāng)出現(xiàn)帶綠色標(biāo)簽的瓶子時，會顯示“分布外”消息，并附帶 OOD 分?jǐn)?shù)，以顯示目標(biāo)與已訓(xùn)練類別的偏離程度。

此外，還可以借助閾值來影響深度學(xué)習(xí)的結(jié)果。例如，為了進行異常檢測，可以將閾值設(shè)置得很高，在這種情況下，你只會得到“正?！钡慕Y(jié)果。如果將閾值設(shè)置得較低，系統(tǒng)相應(yīng)地會輸出越來越少的 “正?！?結(jié)果，從而避免漏檢。這使用戶能夠靈活且個性化地調(diào)整模型對異常情況的響應(yīng)靈敏度。

在機器視覺中開啟深度學(xué)習(xí)之路

如果企業(yè)想利用深度學(xué)習(xí)的諸多優(yōu)勢，就需要制定周全的策略，以目標(biāo)導(dǎo)向的方式落地并長期應(yīng)用這項技術(shù)。然而，與所有人工智能方法一樣，深度學(xué)習(xí)也伴隨著一定的復(fù)雜性。事實證明，機器視覺是這一背景下的關(guān)鍵技術(shù)——在該領(lǐng)域中，被證實的深度學(xué)習(xí)方法能夠被高效且可獲利地應(yīng)用部署。

來源：半導(dǎo)體芯科技

審核編輯 黃宇