上海電力大學(xué)的兩位研究人員最近開發(fā)并評估了野生人臉表情識別（FER）的新神經(jīng)網(wǎng)絡(luò)模型。他們的研究發(fā)表在Elsevier的Neurocomputing期刊上，提出了三種卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型：Light-CNN，雙分支CNN和預(yù)先訓(xùn)練的CNN。

“由于缺乏關(guān)于非正面的信息，野外的FER是計(jì)算機(jī)視覺中的一個(gè)難點(diǎn)，”進(jìn)行這項(xiàng)研究的研究人員之一錢永生告訴TechXplore。“基于深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）的現(xiàn)有自然面部表情識別方法存在一些問題，包括過擬合，高計(jì)算復(fù)雜度，單一特征和有限樣本?！?/p>

盡管許多研究人員已經(jīng)開發(fā)了用于FER的CNN方法，但到目前為止，他們中很少有人試圖確定哪種類型的網(wǎng)絡(luò)最適合這一特定任務(wù)。意識到文獻(xiàn)中的這種差距，永勝和他的同事邵杰為FER開發(fā)了三種不同的CNN，并進(jìn)行了一系列的評估，以確定他們的優(yōu)勢和劣勢。

“我們的第一個(gè)模型是淺光CNN，它引入了一個(gè)深度可分離的模塊和剩余的網(wǎng)絡(luò)模塊，通過改變卷積方法來減少網(wǎng)絡(luò)參數(shù)，”永勝說?！暗诙€(gè)是雙分支CNN，它結(jié)合了全局特征和局部紋理特征，試圖獲得更豐富的特征并補(bǔ)償卷積旋轉(zhuǎn)不變性的缺乏。第三個(gè)預(yù)訓(xùn)練的CNN使用在同一個(gè)分布式大型數(shù)據(jù)庫中訓(xùn)練的權(quán)重重新培訓(xùn)自己的小型數(shù)據(jù)庫，縮短培訓(xùn)時(shí)間，提高識別率?！?/p>

研究人員對三種常用于FER的數(shù)據(jù)集進(jìn)行了CNN模型的廣泛評估：公共CK +，多視圖BU-3DEF和FER2013數(shù)據(jù)集。盡管三種CNN模型在性能上存在差異，但它們都取得了可喜的成果，優(yōu)于幾種最先進(jìn)的FER方法。

“目前，這三種CNN型號是分開使用的，”永勝解釋說?！皽\網(wǎng)絡(luò)更適合嵌入式硬件。預(yù)訓(xùn)練的CNN可以獲得更好的效果，但需要預(yù)先訓(xùn)練的權(quán)重。雙分支網(wǎng)絡(luò)不是很有效。當(dāng)然，也可以嘗試使用這三種模式一起。”

在他們的評估中，研究人員觀察到，通過組合剩余網(wǎng)絡(luò)模塊和深度可分離模塊，就像他們?yōu)榈谝粋€(gè)CNN模型所做的那樣，可以減少網(wǎng)絡(luò)參數(shù)。這最終可以解決計(jì)算硬件的一些缺點(diǎn)。此外，他們發(fā)現(xiàn)預(yù)先訓(xùn)練的CNN 模型將大型數(shù)據(jù)庫轉(zhuǎn)移到自己的數(shù)據(jù)庫，因此可以用有限的樣本進(jìn)行訓(xùn)練。

永勝和杰提出的三個(gè)針對FER的CNN可以有許多應(yīng)用，例如，幫助開發(fā)能夠識別他們正在與之交互的人的面部表情的機(jī)器人。研究人員現(xiàn)在計(jì)劃對他們的模型進(jìn)行額外調(diào)整，以進(jìn)一步提高他們的表現(xiàn)。

“在我們未來的工作中，我們將嘗試添加不同的傳統(tǒng)手動功能，加入雙分支CNN并改變?nèi)诤夏Ｊ?，”永勝說?！拔覀冞€將使用跨數(shù)據(jù)庫培訓(xùn)網(wǎng)絡(luò)參數(shù)來獲得更好的泛化能力，并采用更有效的深度傳輸學(xué)習(xí)方法?！?/p>