MIT CSAIL近期發(fā)表文章《彩票假設(shè)：尋找稀疏可訓(xùn)練的神經(jīng)網(wǎng)絡(luò)》認(rèn)為神經(jīng)網(wǎng)絡(luò)就像中彩票并不是每一張都有用，但應(yīng)設(shè)法找到最能中獎(jiǎng)的那個(gè)，因此可通過消除神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)件不必要的連接（也稱修剪）適應(yīng)低功率設(shè)備，在一系列條件下不斷重復(fù)該過程，神經(jīng)網(wǎng)絡(luò)可縮小10%到20%，但并不影響準(zhǔn)確率，甚至比原始網(wǎng)絡(luò)跟快。

根據(jù)齊魯晚報(bào)報(bào)道，最近威海一彩民獲得了1219萬大獎(jiǎng)，可以說是非常幸運(yùn)了，看的一眾神經(jīng)網(wǎng)絡(luò)“煉丹師”們羨慕不已。

訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的感覺就像買彩票

HackerNews網(wǎng)友opwieurposiu就吐槽，做DNN其實(shí)根本和買彩票沒什么區(qū)別：先是收集訓(xùn)練數(shù)據(jù)，然后寫一個(gè)python腳本，支付大約1美元的GPU時(shí)間，跑一下。所不同的是，你盯著的不是輪盤的轉(zhuǎn)針，而是損失函數(shù)圖。

95%的時(shí)間都是廢的，但是每隔一段時(shí)間你就會(huì)得到很大的回報(bào)。中獎(jiǎng)的時(shí)候，你可能覺得自己真是個(gè)天才！但復(fù)盤的時(shí)候又發(fā)現(xiàn)，你根本不知道為什么A方式有效而B就不行。這種感覺，跟壓彩票非常相似。

1美元的神經(jīng)網(wǎng)絡(luò)很小了。為了更好地學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)就必須非常大，需要海量數(shù)據(jù)集，整個(gè)訓(xùn)練過程可能要持續(xù)好多天。投入100美元、1000美元、10000美元……的時(shí)候，你可能感受到的不僅僅是經(jīng)費(fèi)在燃燒了。

可是，如果說，實(shí)際上神經(jīng)網(wǎng)絡(luò)不一定要那么大呢？

不修剪了，把沒用的部分直接砍掉！

MIT CSAIL的兩位研究人員Jonathan Frankle和Michael Carbin發(fā)表過一篇論文《彩票假設(shè)：尋找稀疏的、可訓(xùn)練的神經(jīng)網(wǎng)絡(luò)》剛剛被評為ICLR最佳論文。

論文指出，神經(jīng)網(wǎng)絡(luò)剪枝技術(shù)可以在不影響精度的前提下，將訓(xùn)練網(wǎng)絡(luò)的參數(shù)數(shù)量減少90%以上，降低存儲需求并提高推理的計(jì)算性能。然而，當(dāng)前的經(jīng)驗(yàn)是，剪枝產(chǎn)生的稀疏架構(gòu)從一開始就很難訓(xùn)，然而同時(shí)也能提高了效率。

Frankle和Carbin發(fā)現(xiàn)，一個(gè)標(biāo)準(zhǔn)的修剪技巧可以自然的顯露出一個(gè)子網(wǎng)絡(luò)，初始化該網(wǎng)絡(luò)就能提高訓(xùn)練效率。因此他們提出了 “彩票假設(shè)”(lottery ticket hypothesis)：任何密集、隨機(jī)初始化的前饋網(wǎng)絡(luò)，都包含一個(gè)子網(wǎng)絡(luò)，以便在隔離訓(xùn)練時(shí)可以在最多相同數(shù)量的訓(xùn)練迭代中，匹配原始網(wǎng)絡(luò)的準(zhǔn)確性。

然而，在成功的找到這個(gè)子網(wǎng)絡(luò)之前，必須經(jīng)過多次訓(xùn)練和“修剪”整個(gè)網(wǎng)絡(luò)。這就好像你去買了一大包彩票，然后從里面找出中獎(jiǎng)的那個(gè)。神經(jīng)網(wǎng)絡(luò)的好處是，所有的彩票都在你的手中，你總能找出來中獎(jiǎng)的那個(gè)。

如果能確切的定位到原始網(wǎng)絡(luò)中哪個(gè)子網(wǎng)絡(luò)跟最終預(yù)測相關(guān)，那么也就用不著多次訓(xùn)練和“修建”，直接砍掉無關(guān)的部分即可。這樣又進(jìn)一步的降低了工作量，提高了效率。這就意味著，要通過一種技巧，使得每次買彩票必中！

彩票假設(shè)也可能遷移學(xué)習(xí)產(chǎn)生影響，在這種情況下，為圖像識別等任務(wù)訓(xùn)練的網(wǎng)絡(luò)可以幫助完成不同的任務(wù)。

“打了折”的深度學(xué)習(xí)

感謝大家對神經(jīng)網(wǎng)絡(luò)的過度熱捧，使得越來越多的人感嘆于神經(jīng)網(wǎng)絡(luò)的神奇效果，但很少有人理解訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)有多難。一來成本高昂，二來耗時(shí)漫長。所以研究人員必須做出許多讓步，在模型的大小、訓(xùn)練耗時(shí)和最終表現(xiàn)等多個(gè)方面進(jìn)行權(quán)衡。

包括今天兩位主角提出的“彩票假設(shè)”的驗(yàn)證過程。他們首先采用一種通用的方法，用最低的“權(quán)重”“修剪”連接來消除受過訓(xùn)練的網(wǎng)絡(luò)的不必要連接，使其適用于智能手機(jī)等低功耗設(shè)備。

“彩票假設(shè)”的關(guān)鍵創(chuàng)新，是發(fā)現(xiàn)經(jīng)過網(wǎng)絡(luò)訓(xùn)練之后，修剪連接可能根本就沒有必要。為了測試這個(gè)假設(shè)，他們嘗試再次訓(xùn)練完全相同的網(wǎng)絡(luò)，但沒有修剪連接。

重要的是，他們將每個(gè)連接“重置”到訓(xùn)練開始時(shí)分配的權(quán)重。這些初始權(quán)重對于幫助中獎(jiǎng)來說至關(guān)重要，沒有它們，被修剪的網(wǎng)絡(luò)將無法學(xué)習(xí)。通過修剪越來越多的連接，最終確定了哪些是可以刪掉而不影響模型預(yù)測能力。

為了驗(yàn)證這一假設(shè)，他們在各種條件下在許多不同的網(wǎng)絡(luò)上重復(fù)了這個(gè)過程數(shù)萬次。實(shí)驗(yàn)結(jié)果顯示MNIST和CIFAR10的“中獎(jiǎng)彩票”的規(guī)模，始終要小于幾個(gè)全連接架構(gòu)和卷積前饋架構(gòu)的10%-20%。這樣的話，不僅深度網(wǎng)絡(luò)在體積上打了折扣，成本、耗時(shí)都大打折扣。

下一步，該團(tuán)隊(duì)計(jì)劃探索為什么某些子網(wǎng)特別擅長學(xué)習(xí)，以及有效找出這些子網(wǎng)的方法。

Google已經(jīng)用Python實(shí)現(xiàn)了彩票假設(shè)算法，并在Github上開源：

https://github.com/google-research/lottery-ticket-hypothesis