一、“超強煤礦大腦”應(yīng)用背景及意義

煤礦行業(yè)是我國國民經(jīng)濟的支柱產(chǎn)業(yè)，在全國能源結(jié)構(gòu)和一次能源消費中占有重要比例，2020年我國的一次能源消耗其中煤炭占比達到 57%。目前，由于國家宏觀政策產(chǎn)業(yè)結(jié)構(gòu)調(diào)整和技術(shù)進步，我國煤礦安全生產(chǎn)事故總量逐年下降，安全生產(chǎn)整體形勢總體穩(wěn)定好轉(zhuǎn)，但是與歐美等采煤先進的發(fā)達國家相比，在煤礦事故發(fā)生總數(shù)量以及死亡人數(shù)上仍然差距十分明顯。據(jù)數(shù)據(jù)統(tǒng)計，中國的煤炭開采中的死亡人數(shù)超過全世界煤礦死亡人數(shù)總和的 3 倍多，我國依舊是全球發(fā)生煤炭事故死亡情況最嚴峻的國家。煤礦井下是一個環(huán)境多變復(fù)雜，工作環(huán)節(jié)較多，作業(yè)人員數(shù)量較多，設(shè)備龐大集中的綜合性危險系數(shù)較大的產(chǎn)業(yè)，每時每刻都可能出現(xiàn)安全隱患，容易發(fā)生安全事故。通過從大量的煤礦死亡事故統(tǒng)計中可以發(fā)現(xiàn)，80%以上的死亡事故都是由于作業(yè)人員的不安全行為所導致的。大量的數(shù)據(jù)顯示，人的違規(guī)行為會受到人因，環(huán)境，設(shè)備、組織等較多因素（如圖 1 所示）的影響，其中，井下工作人員的安全行為能力不足是引起違規(guī)行為發(fā)生的最根本原因。如果想要更好地減少煤礦事故的發(fā)生，保證煤炭產(chǎn)業(yè)的安全發(fā)展，就必須在當前的技術(shù)能力以及政策的情況下，從本源出發(fā)，減少違規(guī)行為的產(chǎn)生。

圖 1煤礦事故致因分析圖

目前現(xiàn)代化高產(chǎn)高效礦井安裝了視頻監(jiān)控系統(tǒng)，在地面設(shè)置了調(diào)度指揮中心，采取安全管理值班人員實時盯著各重點位置，及時消除隱患。但井下點多面廣環(huán)節(jié)多，難以長時間保持警覺，調(diào)度人員不可能 24 小時實時監(jiān)控，無法進行及時獲取相關(guān)隱患信息。所以，需要研制一套“超強煤礦大腦”視頻智能識別設(shè)備替代監(jiān)控人員，實時發(fā)現(xiàn)各種事故隱患，立即進行預(yù)警和發(fā)出控制信息，避免重大事故的發(fā)生。

通過本項目的實施，將人工智能技術(shù)和計算機視覺技術(shù)有機融入煤礦安全生產(chǎn)各個環(huán)節(jié)，能夠減少井下作業(yè)員工違章行為數(shù)量，及時發(fā)現(xiàn)設(shè)備和環(huán)境事故隱患，提高煤礦安全生產(chǎn)的智能化管理水平，適應(yīng)國家安監(jiān)總局對提高煤礦自動化應(yīng)用程度的要求和我國煤礦安全高效生產(chǎn)的發(fā)展趨勢。因此，“超強煤礦大腦”視頻智能識別設(shè)備的應(yīng)用具有重要意義。

二，國內(nèi)外研究現(xiàn)狀

縱觀國內(nèi)外出現(xiàn)的基于視覺的圖像目標檢測識別的技術(shù)和方法，大體可歸結(jié)為兩大類，一類是傳統(tǒng)手動提取特征的機器學習方法，采用人工設(shè)計方法提取特征，進行訓練學習，把訓練后的特征送入分類模型，進行行為和圖像識別（如圖2所示）。特征提取算法主要有Harris、HOG、SIFT、LBP、SURF、DPM、FAST等，分類算法有 SVM 算法［33］、Adaboost 算法等。這些方法需要設(shè)計人員具有一定的設(shè)計技巧，雖然運行速度較快，但提取特征不完整、魯棒性差以及無法提取深度特征信息。

圖2 傳統(tǒng)行為目標檢測識別流程

另一類是基于深度學習的行為識別和圖像識別方法，常見的有基于CNN卷積神經(jīng)網(wǎng)絡(luò)的RCNN、Fast-RCNN、Faster-RCNN以及基于回歸的單階段SDD、YOLO等方法。

所有的深度學習識別方法都是基于多層卷積神經(jīng)網(wǎng)絡(luò)， 卷積神經(jīng)網(wǎng)絡(luò)是一種具有深度結(jié)構(gòu)的前饋人工神經(jīng)網(wǎng)絡(luò)，對輸入信息實現(xiàn)非線性表征，一般CNN包含多個卷積層、池化層、全連接層，每個網(wǎng)絡(luò)層完成不同的任務(wù)，且每種網(wǎng)絡(luò)層具體層數(shù)據(jù)網(wǎng)絡(luò)需求確定，各網(wǎng)絡(luò)層相互配合完成特征提取。一般的CNN結(jié)構(gòu)如圖3所示

圖3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

RCNN目標檢測識別方法，RCNN系列目標識別算法均是基于RCNN改進而來的，RCNN目標識別方法是首個可以應(yīng)用于工業(yè)級別的解決方案。它的提出改變了目標檢測領(lǐng)域的主要研究思路，之后的FAST RCNN、 FASTER-RCNN等算法都沿襲了RCNN的思想。RCNN算法思路流程如圖4所示。

圖4 RCNN算法思路流程

因為RCNN系列目標檢測算法，均需要經(jīng)過候選框選取與CNN特征提取兩步，所以時間復(fù)雜度高，無法實時檢測目標。有人提議能不能舍棄矩形候選框提取分支，直接基于候選框回歸從圖像中檢測出目標的類別以及位置，這時，YOLO，SSD算法出現(xiàn)了。

YOLO目標檢測識別方法

基于回歸的目標檢測算法中，YOLO和SSD是典型代表，將候選框選取、特征提取和分類全部在一個無分支的卷積神經(jīng)網(wǎng)絡(luò)中完成，簡化了網(wǎng)絡(luò)結(jié)構(gòu)并加快了檢測速度，目標檢測算法邁入了可以實時應(yīng)用的時代。本小節(jié)中對YOLO算法V3版本進行介紹。

YOLO整體流程十分簡單，如圖5所示。將待檢測的圖片，縮放成448 x 448大小的圖像，將整張圖縮放后的圖像送入YOLO算法中構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)中完成特征提取、目標分類以及bounding box回歸操作。最終同時得到矩形預(yù)測框的位置以及框內(nèi)目標分類的概率分布。

圖5 YOLO目標識別檢測流程圖

雖然經(jīng)過YOLO算法改進，提升了識別速度和準確率，但和實際工業(yè)應(yīng)用需求還是具有一定距離。尤其在煤礦監(jiān)控視頻流中，使用這些方法無法在識別精度和速度上滿足要求。

基于煤礦監(jiān)控視頻流進行違章行為識別、設(shè)備環(huán)境隱患識別，由于視頻流數(shù)據(jù)量較大，加上煤礦井下環(huán)境嘈雜、煤塵水霧影響、光照度低和照明亮度變化較大，成功案例較少。從基于視頻的人體行為識別研究來看，主要有傳統(tǒng)人體行為識別技術(shù)和基于深度學習的人體行為識別技術(shù)。

傳統(tǒng)行為識別算法的核心也是基于特征工程的，處理輸入視頻數(shù)據(jù)時包含基于手工構(gòu)造特征進行特征提取、特征處理、特征分類三個流程。傳統(tǒng)行為識別算法流程如圖6 所示。傳統(tǒng)行為識別算法中，最具有代表性的算法就是iDT算法，它是傳統(tǒng)行為識別算法中識別效果最好的方法，由DT算法上改進得來。DT算法基本思路是利用光流場來獲取運動軌跡，之后沿著運動軌跡提取四種特征：HOG、 MBH、 HOG、trajectory，采集特征后進行特征編碼，再用編碼結(jié)果訓練分類器SVM用于特征分類。iDT在DT的基礎(chǔ)上加入相鄰兩幀的光流對比和關(guān)鍵點匹配算法SURF，在一定程度上降低了攝像機運動對行為識別結(jié)果的影響?；谝曨l圖像的傳統(tǒng)識別算法直接使用視頻幀序列進行檢測和學習，其缺點是在環(huán)境變化較大時魯棒性較差。

基于深度學習的行為識別算法使用CNN來挖掘行為特征信息，根據(jù)算法的輸入數(shù)據(jù)格式分類，第一種為基于人體骨骼節(jié)點的行為識別，第二種為基于視頻圖像的行為識別?；谌梭w骨骼的識別算法依賴于準確的骨骼提取，且受光照這些環(huán)境因素影響較小，目前己經(jīng)有kinect攝像頭等技術(shù)可以準確快速地提取人體骨架節(jié)點信息。但是這些算法需要專用的提取深度信息的專用攝像頭。

通過前面國內(nèi)外研究現(xiàn)狀可以看出，現(xiàn)有方法直接用于煤礦監(jiān)控視頻流智能分析和識別存在魯棒性差、算法復(fù)雜、識別準確性和速度無法滿足煤礦安全生產(chǎn)實際需求，但是這些方法為進一步研究煤礦視頻智能識別提供了良好的基礎(chǔ)。

三，“超強煤礦大腦”主要原理與關(guān)鍵技術(shù)

（1）建立煤礦安全隱患危險源數(shù)據(jù)集；

從前面分析可以看出，任何基于視頻的智能識別分析系統(tǒng)，離不開大量數(shù)據(jù)集的建立，針對每個需要監(jiān)控識別的重要工作場所，采集大量含有安全隱患的視頻和圖像數(shù)據(jù)，進行標準，為通用模型建立提供數(shù)據(jù)基礎(chǔ)，并能為國內(nèi)外同類研究提供相應(yīng)的支撐；

（2）基于深度學習和Open pose算法，研究適合煤礦安全生產(chǎn)實際的違章行為、設(shè)備故障檢測識別和環(huán)境危險因素識別算法；

在之前研究的基礎(chǔ)上，提出適應(yīng)于煤礦監(jiān)控視頻的安全隱患識別算法，能夠滿足煤礦安全生產(chǎn)實際需求，在準確性和速度方面由于現(xiàn)有方法。

（3）利用煤礦安全隱患危險源數(shù)據(jù)集和煤礦安全違章行為、設(shè)備環(huán)境隱患識別算法，在工業(yè)實驗礦井訓練能夠滿足需求的識別模型；

（4）研制煤礦視頻識別統(tǒng)一平臺設(shè)備，集成煤礦已有海量數(shù)據(jù)，進行識別、報警和設(shè)備聯(lián)動。

四，“超強煤礦大腦”功能

隱患識別

對各種物的不安全狀態(tài)、設(shè)備的異常情況進行實時識別，比如可實現(xiàn)皮帶跑偏、堆煤、撕裂、皮帶上的大煤塊、錨桿的識別及報警，必要時緊急停車，可避免由于大塊煤、錨桿造成的設(shè)備損壞、堆煤等事故?？勺R別工作面支架護幫不到位、風窗風門沒有關(guān)閉、岔道紅綠燈不亮等安全隱患，并進行廣播告警。

l 人員違章違規(guī)行為識別

實現(xiàn)井下人員各種常見違章違規(guī)行為的視頻自動識別、圖像抓拍、聲音預(yù)警、實時自動統(tǒng)計分析，防止各類人員傷亡事故發(fā)生。比如違章乘坐皮帶、礦車、在軌道上行走、工作期間疲勞操作、打瞌睡、乘車時工具伸出車外，進入危險地點、在危險地點、場所行走、乘車站點擁擠等。

l 環(huán)境的不安全因素

實現(xiàn)巷道、工作面、掘進頭等場所變形、偏幫、冒頂、落石、地鼓等環(huán)境不安全因素的實時識別檢測，當超過規(guī)定數(shù)值時，及時記錄報警，方便相關(guān)人員及時采取措施進行維修維護。

五，“超強煤礦大腦”通過多種技術(shù)手段提高煤礦安全生產(chǎn)的智能化管理水平。

涉及算法：

AI神經(jīng)網(wǎng)絡(luò)的深度學習算法、視頻結(jié)構(gòu)化技術(shù)、人臉識別算法、人臉比對算法、人體識別算法、物體識別算法、活體算法、3D畫面矯正算法、移動偵測算法、圖像比對算法、物體軌跡算法、人體跟蹤算法等。

部分算法功能展示

【定義】在煤炭皮帶運輸機運送物料時皮帶跑偏，皮帶向左或向右跑偏。

【場景】煤炭落料無規(guī)律的偏向輸送帶的任意一邊，使皮帶的重力作用不均，導致皮帶兩邊的張力不同，從而造成皮帶跑偏。

【定義】當煤炭皮帶運輸機運送物料時出現(xiàn)超過規(guī)定煤炭的大塊，則定義為大煤塊檢測。也可以擴展檢測采用傳送帶運送的常見顆粒物（比如煤炭、砂石、糧食等）超過規(guī)定的大小。

【場景】煤炭皮帶運輸機，適用V形或梯形截面?zhèn)魉蛶б部梢远ㄖ破渌螤畹膫魉蛶?，適用于采礦、糧倉、酒廠制造等場景

【定義】當煤炭皮帶運輸機運送物料時出現(xiàn)錨桿，則立即錨桿檢測預(yù)警。

【場景】煤炭皮帶運輸機，適用V形或梯形截面?zhèn)魉蛶б部梢远ㄖ破渌螤畹膫魉蛶?，適用于采礦。

【定義】風門長時間敞開或關(guān)閉不嚴，立即預(yù)警。

【場景】風門長時間敞開或關(guān)閉不嚴，就會破壞礦井通風系統(tǒng)，造成風流紊亂，使有害氣體聚集，給礦井安全帶來危險隱患，瓦斯突出逆流波。煤礦風窗風門沒有關(guān)閉，可以預(yù)警，自定義設(shè)置時間。

【定義】當監(jiān)控攝像機檢測到有人攜帶超長工具，超大工具乘坐猴車則定義攜帶工具預(yù)警。

【場景】礦井工人上下班時間，乘坐猴車。

【定義】警戒區(qū)域有人越位闖入，或有人越位乘車。

【場景】礦井危險禁區(qū)，或超越乘坐車的范圍。

【定義】人數(shù)達到系統(tǒng)設(shè)定人數(shù)，且在較短的時間內(nèi)人數(shù)達到上限立即報警。

【場景】該功能主要應(yīng)用于礦井有些場景需要控制人數(shù)，用于檢測關(guān)鍵點位人數(shù)。以防人數(shù)過多發(fā)生安全隱患。

【定義】當有人在值班室，坐在椅子上的活躍度極低，甚至一動不動，則有可能是在睡覺，系統(tǒng)定義為睡崗

【場景】值班崗位

【定義】當應(yīng)該要有人值班的崗位，長時間沒有人的情況下，則定義為缺崗

【場景】值班崗位

【定義】診斷攝像機狀態(tài)是否正常、異常、離線（被遮擋，被切斷電源，被剪斷線路）

【場景】任何監(jiān)控場景

【企業(yè)介紹】

微視圖靈以人工智能、物聯(lián)傳感技術(shù)為核心，利用自主知識產(chǎn)權(quán)的深度學習架構(gòu)、機器視覺、深耕行為分析算法技術(shù)研發(fā)， 結(jié)合人臉識別、人體識別、物體識別等人工智能算法、致力于為用戶提供全球領(lǐng)先的人工智能產(chǎn)品和行業(yè)解決方案。

核心技術(shù)團隊來自中科院，清華大學，電子科技大學等知名學府。 專注于計算機視覺和深度學習，布局城市安防，打通AI在智慧司法、智慧校園、智慧養(yǎng)老、智慧交通、智慧醫(yī)院、智慧社區(qū)等幾大垂直場景的應(yīng)用。（歡迎合作：0755-8981 5448）

［作者簡介］

王德永，教授，高級工程師。主要研究方向為礦山信息化、視頻行為識別等，先后主持或參與國家社科基金和省部級教學項目、省級自然科學科研項目 10 多項，主持項目獲河南省科技進步三等獎1項、河南省第六屆高等學校教學成果二等獎1項，主持和參與國家精品課程 1 門，省級（教指委）精品課程 5 門，省級精品資源共享課程 2 門，主編參編公開出版發(fā)行的工學結(jié)合教材開發(fā)15本；公開發(fā)表論文 23篇，其中 EI 收錄 10 篇。