近日，南開大學(xué)媒體計(jì)算實(shí)驗(yàn)室提出的最新邊緣檢測(cè)和圖像過(guò)分割（可用于生成超像素）被 IEEE PAMI 錄用。研究的第一作者也發(fā)微博稱：“這是第一個(gè)在最廣泛使用的圖像分割數(shù)據(jù)集 BSD500 上 F-Measure 評(píng)價(jià)值超越數(shù)據(jù)集本身人工標(biāo)注平均值的實(shí)時(shí)算法。圖像分割效果也刷新了精度記錄。其算法也已經(jīng)開源?！?/p>

先對(duì)各位作者進(jìn)行簡(jiǎn)單的介紹：

一作 劉云，目前在實(shí)驗(yàn)室內(nèi)攻讀博士學(xué)位，他的博導(dǎo)也是程明明老師。從劉博士發(fā)布過(guò)的論文成果列表中可以看到，他在 CVPR、ICCV、ECCV 上都有投過(guò)論文。

論文的第二作者——程明明老師。2012 年博士畢業(yè)于清華大學(xué)，之后在英國(guó)牛津從事計(jì)算機(jī)視覺(jué)研究，并于 2014 年回國(guó)任教，2016 年起任南開大學(xué)教授，國(guó)家“萬(wàn)人計(jì)劃”青年拔尖人才，首批天津市杰出青年基金獲得者。其主要研究方向包括：計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺(jué)、圖像處理等。已在 IEEE PAMI, ACM TOG 等 CCF-A 類國(guó)際會(huì)議及期刊發(fā)表論文 30 余篇。

三作 胡曉偉。四作 邊佳旺，目前就職于華為media computing Lab。這四位作者都來(lái)自于南開大學(xué)媒體計(jì)算實(shí)驗(yàn)室。另外三位作者為 Le Zhang（南洋理工大學(xué)，ADSC）、Xiang Bai（華中科技大學(xué)，HUST）、唐金輝（南京理工大學(xué)，NUST）

下面 AI科技大本營(yíng)就為大家分析講解這個(gè)算法。先把相關(guān)介紹和開源地址分享給大家：

https://mmcheng.net/zh/rcfedge/

http://mftp.mmcheng.net/Papers/19PamiEdge.pdf

https://github.com/yun-liu/rcf

在計(jì)算機(jī)視覺(jué)領(lǐng)域，邊緣檢測(cè)屬于一個(gè)經(jīng)典問(wèn)題。在近期的研究中，卷積神經(jīng)網(wǎng)絡(luò)（CNN）方法已經(jīng)顯著的推動(dòng)該領(lǐng)域的發(fā)展。現(xiàn)有的方法，由于使用特定層數(shù)的卷積神經(jīng)網(wǎng)絡(luò)，可能無(wú)法成功提取復(fù)雜的數(shù)據(jù)模型，其中這些數(shù)據(jù)會(huì)隨著圖像尺度和縱橫比進(jìn)行變化。在本文中，我們提出了一種使用更豐富的卷積特征（Richer convolution features, RCF）的精準(zhǔn)邊緣檢測(cè)方法。

RCF 方法將所有卷積特征封裝成一種更具判別性的表達(dá)，這樣就可以很好地利用豐富的特征層次結(jié)構(gòu)，并且該方法也可以通過(guò)反向傳播進(jìn)行訓(xùn)練。RCF 方法充分利用目標(biāo)的多尺度和多級(jí)信息來(lái)實(shí)現(xiàn)圖像到圖像（image-to-image）的預(yù)測(cè)。

程明明老師在他的微博中分享說(shuō)：”這里面最核心的是 Richer feature： 每個(gè) stage 里面的所有 conv 層都是有用的，而不是傳統(tǒng)只要每個(gè) stage 的最后一個(gè) conv 層。這是很通用的技巧，基本上干什么任務(wù)都用得著，而且改幾行代碼就能實(shí)現(xiàn)?！?/p>

（來(lái)源：程明明老師的個(gè)人微博）

使用 VGG16 網(wǎng)絡(luò)，我們的方法在幾個(gè)公共數(shù)據(jù)集上有最好的性能（state-of-the-art）。在BSDS500基準(zhǔn)數(shù)據(jù)集上進(jìn)行測(cè)試評(píng)估時(shí)，F(xiàn)-Measure分?jǐn)?shù)（F-measure）我們?nèi)〉昧?0.811 的成績(jī)，并同時(shí)獲得了8 FPS的速度。此外，快速版的 RCF 方法取得了 0.806 分和 30 FPS 的速度。為了證明所提出方法的多功能性，我們還將 RCF 檢測(cè)的邊緣應(yīng)用于圖像分割問(wèn)題。

我們構(gòu)建了一個(gè)基于 VGG16 的簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)，以得到 conv3_1，conv3_2，conv3_3，conv4_1，conv4_2 和 conv4_3 這幾層每層的輸出。通過(guò)上圖，可以清楚地看到卷積特征逐漸變得粗糙，并且中間層 conv3_1，conv3_2，conv4_1 和 conv4_2包含許多有用的精確細(xì)節(jié)，而這些細(xì)節(jié)沒(méi)有在其他層中出現(xiàn)。

上圖展示的是 RCF 網(wǎng)絡(luò)架構(gòu)。網(wǎng)絡(luò)的輸入是具有任意大小的圖像，而網(wǎng)絡(luò)的輸出是具有相同大小的邊緣檢測(cè)圖。我們將每個(gè)卷積層的層次特征組合成一個(gè)整體框架，而其中的所有參數(shù)都是可以訓(xùn)練學(xué)習(xí)的。由于 VGG16 中卷積層的感受野大小彼此不同，因此我們的網(wǎng)絡(luò)可以學(xué)習(xí)多尺度，包括低尺度和對(duì)象級(jí)的信息，而這些信息將有助于邊緣檢測(cè)。

上圖是該多尺度算法的管道圖。調(diào)整原始圖像的大小以構(gòu)建圖像金字塔。然后將這些多尺度圖像輸入到 RCF 網(wǎng)絡(luò)中進(jìn)行正向傳遞。接著，我們使用雙線性插值將結(jié)果邊緣檢測(cè)圖恢復(fù)為原始大小。對(duì)這些邊緣圖進(jìn)行簡(jiǎn)單平均計(jì)算就可以輸出高質(zhì)量邊緣圖。

在 BSDS500 數(shù)據(jù)集上的評(píng)估結(jié)果

上圖是超過(guò) 50 年的邊緣檢測(cè)方法性能總結(jié)。 我們的方法是第一個(gè)比人類注釋器獲得更好 F-Measure 分?jǐn)?shù)的實(shí)時(shí)系統(tǒng)。