你有沒有想過，你經(jīng)常使用的深度學(xué)習(xí)網(wǎng)絡(luò)在看圖像的什么部分進(jìn)行分類？

例如下圖：

如果深度學(xué)習(xí)網(wǎng)絡(luò)將此圖像分類為“圓號(hào)”，你認(rèn)為圖片的哪個(gè)部分對(duì)分類最重要？

MathWorks Computer Vision System Toolbox 開發(fā)工程師Birju Patel專注于深度學(xué)習(xí)，設(shè)計(jì)了如下案例進(jìn)行解答這一問題：

我們使用預(yù)訓(xùn)練好的 ResNet-50 網(wǎng)絡(luò)進(jìn)行此實(shí)驗(yàn)。

* He, Kaiming, Zhang, Xiangyu, Ren, Shaoqing, Sun, Jian. "Deep Residual Learning for Image Recognition." In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770-778. 2016.

獲取 MATLAB 中 ResNet-50 網(wǎng)絡(luò)的方法是啟動(dòng) Add-On Explorer（MATLAB 的 HOME 選項(xiàng)卡）并搜索 resnet。

net = resnet50;

我們需要注意 ResNet-50 需要輸入特定尺寸的圖像。網(wǎng)絡(luò)的初始層提供了這一信息：

sz = net.Layers(1).InputSize(1:2)sz = 224 224

所需的圖像尺寸可以直接傳遞給 imresize 函數(shù)。)

在網(wǎng)絡(luò)中調(diào)用 classify ，查看圖片可能的分類：

classify(net,rgb)ans = categorical French horn

ResNet-50 認(rèn)為這是圓號(hào)。

Birju 在一篇關(guān)于卷積神經(jīng)網(wǎng)絡(luò)可視化技術(shù)的論文中，了解到遮擋敏感性的概念。如果阻擋或遮擋圖像的一部分，將如何影響網(wǎng)絡(luò)的預(yù)測(cè)得分？遮擋不同的部分又將如何影響結(jié)果？

Birju 做了如下嘗試：

rgb2 = rgb; rgb2((1:71)+77,(1:71)+108,:) = 128; imshow(rgb2)

classify(net,rgb2)ans = categorical notebook

Hmm...估計(jì)網(wǎng)絡(luò)“認(rèn)為”灰色方塊看起來像筆記本。被遮擋的區(qū)域?qū)τ趫D像分類來說應(yīng)該很重要。再試試不同的遮擋位置：

rgb3 = rgb;rgb3((1:71)+15,(1:71)+80,:) = 128;imshow(rgb3)

classify(net,rgb3)ans = categorical French horn

好吧，腦袋并不重要。

Birju 編寫了一些 MATLAB 代碼來系統(tǒng)地量化不同圖像區(qū)域?qū)Ψ诸惤Y(jié)果的相對(duì)重要性。他使用 MATLAB 構(gòu)建了大量圖像，并對(duì)遮擋不同區(qū)域的圖像進(jìn)行批處理。對(duì)于遮擋的不同位置，記錄預(yù)期類（本例為“法國(guó)號(hào)”）的概率得分。

我們制作一批帶有 71x71 遮擋區(qū)域的圖像。首先計(jì)算所有遮擋模塊的頂點(diǎn)，用 (X1,Y1) 和 (X2,Y2) 表示。

mask_size = [71 71]; [H,W,~] = size(rgb); X = 1:W; Y = 1:H; [X1, Y1] = meshgrid(X, Y); X1 = X1(:) - (mask_size(2)-1)/2; Y1 = Y1(:) - (mask_size(1)-1)/2; X2 = X1 + mask_size(2) - 1; Y2 = Y1 + mask_size(1) - 1;

注意不要讓遮擋區(qū)域的頂點(diǎn)偏離圖像邊界。

X1 = max(1, X1); Y1 = max(1, Y1); X2 = min(W, X2); Y2 = min(H, Y2);

批處理：

batch = repmat(rgb,[1 1 1 size(X1,1)]); for i = 1:size(X1,1) c = X1(i):X2(i); r = Y1(i):Y2(i); batch(r,c,:,i) = 128; % gray mask. end

注意：這一批包含 50,000 多張圖像。你需要大量的 RAM 才能同時(shí)創(chuàng)建和處理如此大量的圖像。

這里有一些遮擋的圖像：

現(xiàn)在，我們將使用 predict（而不是 classify）來獲取每個(gè)圖像在每個(gè)類別中的預(yù)測(cè)分?jǐn)?shù)。MiniBatchSize 參數(shù)是用來限制 GPU 內(nèi)存的使用，意味著 predict 函數(shù)將一次發(fā)送 64 個(gè)圖像到 GPU 進(jìn)行處理。

s = predict(net, batch, 'MiniBatchSize',64);size(s)ans = 50176 1000

我們獲得了很多的概率得分！其中 51,529 個(gè)圖像，共有 1,000 個(gè)類別。矩陣 s 具有每個(gè)類別和每個(gè)圖像的預(yù)測(cè)分?jǐn)?shù)。

我們重點(diǎn)關(guān)注預(yù)測(cè)原始圖像類別的預(yù)測(cè)分?jǐn)?shù)：

scores = predict(net,rgb); [~,horn_idx] = max(scores);

這里是每一個(gè)圓號(hào)類別中的圖像預(yù)測(cè)分?jǐn)?shù)：

s_horn = s(:,horn_idx);

將圓號(hào)類別的分?jǐn)?shù)轉(zhuǎn)換為圖像顯示：

S_horn = reshape(s_horn,H,W); imshow(-S_horn,[]) colormap(gca,'parula')

最亮的區(qū)域表示遮擋對(duì)概率得分影響最大的遮擋區(qū)間。

下面我們找到了最影響圓號(hào)概率得分的遮擋位置：

[min_score,min_idx] = min(s_horn); rgb_min_score = batch(:,:,:,min_idx); imshow(rgb_min_score)

結(jié)果可見，識(shí)別圓號(hào)的關(guān)鍵在于螺旋形管身和閥鍵，而不是號(hào)嘴。