前段時(shí)間一直在關(guān)注 CNN 的實(shí)現(xiàn)，查看了 caffe 的代碼以及 convnet2 的代碼。目前對(duì)單機(jī)多卡的內(nèi)容比較感興趣，因此特別關(guān)注 convnet2 關(guān)于 multi-GPU 的支持。

其中 cuda-convnet2 的項(xiàng)目地址發(fā)布在：Google Code：cuda-convnet2

關(guān)于 multi-GPU 的一篇比較重要的論文就是：One weird trick for parallelizing convolutional neural networks

本文也將針對(duì)這篇文章給出分析。
?

1、簡(jiǎn)介

介紹一種卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中的SGD的并行化方法。

兩個(gè)變種

模型并行： 不同的 workers 訓(xùn)練模型的不同 patrs，比較適合神經(jīng)元活動(dòng)比較豐富的計(jì)算。

數(shù)據(jù)并行： 不同的 workers 訓(xùn)練不同的數(shù)據(jù)案例，比較適合 weight 矩陣比較多的計(jì)算。

2. 觀察

現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)主要由兩種層構(gòu)成，他們具有不一樣的屬性和性能：
1）卷積層，占據(jù)了90% ~ 95% 的計(jì)算量，5% 的參數(shù)，但是對(duì)結(jié)果具有很大的表達(dá)能力。
2）全連接層，占據(jù)了 5% ~ 10% 的計(jì)算量， 95% 的參數(shù)，但是對(duì)于結(jié)果具有相對(duì)較小的表達(dá)的能力。

綜上：卷積層計(jì)算量大，所需參數(shù)系數(shù) W 少，全連接層計(jì)算量小，所需參數(shù)系數(shù) W 多。因此對(duì)于卷積層適合使用數(shù)據(jù)并行，對(duì)于全連接層適合使用模型并行。

3. 推薦的算法

前向傳播

1)K workers 中的每一個(gè) worker 都提供不同的 128 個(gè) examples 的 data batch，也就是每一個(gè) worker 的數(shù)據(jù)都是不一樣的。
2)每一個(gè) worker 都在其 data batch 上計(jì)算卷積層。每一個(gè) worker 的卷積層是按照順序執(zhí)行的。
3)全連接層的計(jì)算，分為以下三種方式：
(a) 每一個(gè) worker 將其最后階段的卷積層 activities 傳遞給其他的 worker。這些 workers 將這 128K 個(gè) examples 配置成一個(gè)大的 batch，然后在這個(gè) batch 上計(jì)算全連接層。
(b) 第一個(gè) worker 將其最后階段的卷積層 activities 傳遞給其他 workers，這些 workers 計(jì)算 128 個(gè) examples 配置成的 batch 并且開始反向傳遞。（與這一次計(jì)算并行的同時(shí)，第二個(gè) worker 將卷積層的 activities 傳遞到所有的 workers 中，即實(shí)現(xiàn)了 activities 傳遞和計(jì)算之間的流水線）。
(c) 全部的 workers 傳遞 128/K 個(gè)卷積層的 activities 到其他的 workers，計(jì)算方式同(b)。

對(duì)于上述(a~c)三種不同的全連接層實(shí)現(xiàn)方式，進(jìn)行如下的分析：

(a) 當(dāng) 128K images 配置到每一個(gè) worker 的時(shí)候，所有有用的 work 必須要暫停。另外大的 batches 消耗大量的顯存，這對(duì)于 GPU 顯存有限制的設(shè)備是不希望發(fā)生的。另一方面，大的 batches 有利于 GPU 性能的發(fā)揮。

(b) 所有的 workers 輪流將他們的 activities 傳播到所有的 workers 上面。這里輪流執(zhí)行得到的最重要的結(jié)果是可以將大部分傳播通信時(shí)間隱藏（因?yàn)樗梢栽谏弦淮斡?jì)算的時(shí)候，與計(jì)算一起并行處理，確切是 K-1 次通信時(shí)間可以隱藏）。這樣做的意義非常的重大，可以實(shí)現(xiàn)一部分流水，使得通信時(shí)間隱藏，達(dá)到了很好的并行效果。

(c) 與 (b) 的方案類似。他的一個(gè)優(yōu)勢(shì)就是通信與計(jì)算的比例是常數(shù) K，對(duì)于 (a) 和 (b)，與 K 成比例。這是因?yàn)?(a) 和 (b) 方案經(jīng)常會(huì)受到每一個(gè) worker 的輸出帶寬的限制，方案 (c) 可以利用所有的 workers 來完成這一任務(wù)，對(duì)于大的 K 會(huì)有非常大的優(yōu)勢(shì)。

反向傳播

1) workers 按照通常的方式在全連接層計(jì)算梯度。
2) 按照前向傳播中不同的實(shí)現(xiàn)方案，這里會(huì)有對(duì)應(yīng)的三種方案：
(a) 每一個(gè) worker 都為整個(gè) 128K examples 的 batch 計(jì)算了 activities 的梯度。所以每一個(gè) worker 必須將每一個(gè) example 的梯度傳遞給前向傳播生成這個(gè) example 的 worker 上面。這之后，卷積層的反向傳播按照常規(guī)方式獲取。
(b) 每一個(gè) worker 已經(jīng)為 128 examples 的 batch 計(jì)算了 activities 的梯度，然后將這些梯度值傳遞給每一個(gè)與這個(gè) batch 相關(guān)的 workers 上。（在傳播的同時(shí)，可以進(jìn)行下一個(gè) batch 的計(jì)算）。在經(jīng)過 K 次前向和反向的傳播，所有的梯度值都將被傳播到卷積層。
(c) 與 (b) 類似。每一個(gè) worker 計(jì)算了 128 examples batch 的梯度，這 128-example batch 來自于每一個(gè) worker 的 128/K-examples，所以為了正確的分配每一個(gè)梯度，需要安裝相反的操作來進(jìn)行。

Weight 權(quán)值矩陣同步

一旦反向傳播完成之后，workers 就可以更新 weight 矩陣了。在卷積層，workers 也必須同步 weight 矩陣。最簡(jiǎn)單的方式可以按如下進(jìn)行：
1) 每一個(gè) worker 指定到梯度矩陣的 1/K 進(jìn)行同步。
2) 每一個(gè) worker 從其他的 worker 累計(jì)對(duì)應(yīng)的 1/K 的梯度。
3)每一個(gè) worker 廣播這 1/K 的梯度。

對(duì)于卷積層來說，這個(gè)比較容易實(shí)現(xiàn)，因?yàn)樗?weights 系數(shù)比較少。

可變的 batch size
對(duì)于方案 (b) 和 (c) 在運(yùn)行同步 128K SGD 的時(shí)候相對(duì)于方案 (a) 有了一些細(xì)微的變動(dòng)，其中 (a) 是標(biāo)準(zhǔn)的 forward-backward 傳播方式。(b) 和 (c) 方案在全連接層執(zhí)行 K 次 forward 和 backward 過程，每一次執(zhí)行不同的 128 examples，這就是說，如果我們?cè)敢?，我們可以在上面每一次局部的后向傳播?zhí)行過程結(jié)束之后，更新全連接層的系數(shù)，這樣不會(huì)帶來任何額外的計(jì)算開銷。因此，我們可以在全連接層使用 batch size = 128，在卷積層 batch size = 128K。用了這樣的可變 batch size 之后，這就不再是一個(gè)純粹的并行 SGD 算法了，因?yàn)椴辉贋槿魏闻c卷積層一致的模型更新梯度值，但是事實(shí)證明，在實(shí)踐中，這并不重要。在實(shí)際中，使用有效的 batch size 從 128K 到數(shù)千，在全連接層使用小的 batch size，最后能夠更快的收斂到更好的極小值。

案例圖示

上圖給出了方案 (b) 的 forward 和 backward 傳播，其中 K = 2，即 2 個(gè) workers。

在三層結(jié)構(gòu)的卷積層中，兩路數(shù)據(jù)并行的方案被實(shí)施。在兩層結(jié)構(gòu)的全連接層中，兩路模型并行的方案被實(shí)施。上圖將數(shù)據(jù)并行和模型并行 2 個(gè)過程分解為 6 個(gè)過程。
step1：卷積層數(shù)據(jù)并行實(shí)現(xiàn)前向傳播（3個(gè)卷積層順序執(zhí)行，2個(gè) worker 數(shù)據(jù)并行執(zhí)行）
step2：陰影部分的卷積層將數(shù)據(jù)傳遞給兩個(gè)全連接層，模型并行實(shí)現(xiàn)前向傳播（2個(gè)全連接層順序執(zhí)行，F(xiàn)C11 和 FC12 模型并行執(zhí)行，F(xiàn)C21 和 FC22 模型并行執(zhí)行）
step3：全連接層實(shí)現(xiàn)反向傳播，并將梯度數(shù)據(jù)傳回卷積層
step4：同 step2，worker 2 的卷積層數(shù)據(jù)傳遞到全連接層，實(shí)現(xiàn)前向傳播
step5：同 step3，全連接層實(shí)現(xiàn)反向傳播，將梯度傳回 worker 2 對(duì)應(yīng)的卷積層
step6：完成卷積層的反向傳播。