近日微軟研究的 John Langford 討論了頂會(huì)到底應(yīng)不應(yīng)該提交代碼，因?yàn)椴煌芯恐黝}與領(lǐng)域?qū)Υa的需求不同，他表明代碼提交應(yīng)該鼓勵(lì)，但并不能強(qiáng)制。作為 ICML 2019 的程序主席，Russ Salakhutdinov 表示他贊成 John Langford 的觀點(diǎn)，他們在 ICML 2019 的評審中也引入了代碼提交的選項(xiàng)。目前 ICML 2019 的評審結(jié)果已經(jīng)出來了，那么你們提交代碼了嗎？

ICML、ICLR 和 NeurIPS 都在嘗試將實(shí)驗(yàn)代碼和數(shù)據(jù)作為評審材料的一部分提交，它們鼓勵(lì)作者在評審或出版過程中提交代碼以幫助結(jié)果可復(fù)現(xiàn)。目前，研究結(jié)果的可復(fù)現(xiàn)性通過論文、workshop 和演講得到了很多討論，也受到越來越多的關(guān)注。

最基本的驅(qū)動(dòng)因素當(dāng)然是目前的研究結(jié)果缺少可復(fù)現(xiàn)性，很多優(yōu)秀研究都沒有提供對應(yīng)的代碼。對任何評審和出版來說，可復(fù)現(xiàn)性的缺失是一個(gè)嚴(yán)肅的問題。因?yàn)楹髞淼难芯空邥?huì)基于先驅(qū)工作做一些新的東西，缺乏可復(fù)現(xiàn)性將有礙這一過程。

其實(shí)由于隨機(jī)初始化等機(jī)制缺乏可復(fù)現(xiàn)性，早期的神經(jīng)網(wǎng)絡(luò)研究并不受歡迎。雖然，目前證明神經(jīng)網(wǎng)絡(luò)的表征能力十分強(qiáng)大，但可復(fù)現(xiàn)性問題仍然存在。此外，研究中我們總會(huì)潛在懷疑前沿工作的結(jié)果是有一些水分，而提供可復(fù)現(xiàn)的代碼能在一定程度上排除這樣的質(zhì)疑。

有了上面的觀點(diǎn)，John Langford 表明可復(fù)現(xiàn)性的支持者應(yīng)該將其理解為一個(gè)重要的屬性，但并不是唯一的屬性。例如，我們相信即使研究結(jié)果很難復(fù)現(xiàn)，但社區(qū)也能看到 AlphaGoZero 的發(fā)布。對于研究社區(qū)而言，真正有價(jià)值的是展示什么是可能的，而不是展示將圍棋代碼應(yīng)用到另一種游戲的可能性。真正有價(jià)值的是展示算法更多的可能性，盡管它可能連代碼都沒有發(fā)布。如果我們將可復(fù)現(xiàn)性作為絕對價(jià)值，那么我們很可能就錯(cuò)過了這樣的研究成果。

一個(gè)重要的觀念是，機(jī)器學(xué)習(xí)至少有三種研究：

算法：這種研究的目標(biāo)是發(fā)現(xiàn)一些更好的算法以解決各種學(xué)習(xí)問題，這是頂會(huì)上最典型的類型。

理論：該研究的目標(biāo)是一般性地理解哪些學(xué)習(xí)算法是可能的，哪些是不可能的。雖然這些論文同樣可能提出算法，但它們通常并不要求一定要實(shí)現(xiàn)，這會(huì)浪費(fèi)作者、評審者和讀者的時(shí)間。

應(yīng)用：這一些研究的目標(biāo)是解決特定的任務(wù)。AlphaGoZero 就是一個(gè)合理的例子，它在圍棋上用算法擊敗了世界冠軍。對于這類研究而言，由于計(jì)算量大、數(shù)據(jù)所有權(quán)等特點(diǎn)，編程的可復(fù)現(xiàn)性可能不切實(shí)際。

如果使用一種「放之四海皆準(zhǔn)」的策略，要求每一篇論文都是可編程復(fù)現(xiàn)的，這種錯(cuò)誤會(huì)降低研究社區(qū)的活力與創(chuàng)新。保證這三方面的研究的基本需求，將豐富社區(qū)的各種新思想。

如果我們從更廣泛的角度來考慮這個(gè)論點(diǎn)，你是否希望醫(yī)療健康條例以所有科學(xué)研究為基礎(chǔ)，包括那些不公開的數(shù)據(jù)？還是希望只以公共醫(yī)療領(lǐng)域的數(shù)據(jù)為基礎(chǔ)？后者等價(jià)于忽略大多數(shù)科學(xué)研究，只針對特定領(lǐng)域做決策會(huì)有更好的效果。

強(qiáng)制方法的替代是將代碼作為補(bǔ)充資料，附加材料在變化的評審過程中也能很好地追蹤、記錄。

在以前做機(jī)器學(xué)習(xí)研究時(shí)，論文不是雙盲的。社區(qū)因?yàn)樵u審公正性開始使用雙盲機(jī)制，無論是什么資歷的作者和論文都能被公平評審。同時(shí)社區(qū)并不限制論文在發(fā)布前公布到 arXiv 上或者公開討論，因?yàn)檫@會(huì)降低作者的研究效率。雙盲評審社區(qū)可能有不同觀念，但在 ML 領(lǐng)域這么做并沒分歧。

在以前做機(jī)器學(xué)習(xí)研究時(shí)，提交論文的頁數(shù)也有強(qiáng)制限制。對理論論文而言，證明部分不包括在內(nèi)。我們后來改變了評審流程，允許（不要求）提交附錄，便于評審使用。這為作者/評審增加了更多選擇，獲得了所有人的支持。

說到復(fù)現(xiàn)，我們能為社區(qū)做什么？

如果評審能夠拿到底層代碼或者數(shù)據(jù)，是否能更好地做評審工作？

開放代碼對作者有好處嗎？

開發(fā)代碼對讀者有好處嗎？

如果準(zhǔn)確無誤，答案無疑是「yes」。

對評審而言，不為他們添加負(fù)擔(dān)非常重要。評審可能缺乏計(jì)算資源、平臺(tái)或者個(gè)人時(shí)間，無法完全復(fù)現(xiàn)論文結(jié)果。因此，我們應(yīng)該像附錄那樣查看代碼（和數(shù)據(jù)）提交，便于評審探究和使用。

對作者而言，放出代碼有兩個(gè)好處：提供額外的方法，說服善于質(zhì)疑的評審；促進(jìn)后續(xù)的工作也這么做，很多高引用量的論文都開放了源代碼。當(dāng)然，許多情況下不太可能放出代碼或者對作者沒好處。例如一篇理論論文，很可能算法不是重點(diǎn)，或者因?yàn)閿?shù)據(jù)所有權(quán)，代碼并不能完全公開。從此來看，我們應(yīng)該有選擇的支持、鼓勵(lì)開放代碼。

對讀者而言，附加代碼（和數(shù)據(jù)）明顯增加了一篇論文的深度價(jià)值。一些讀者可能用不到，但一些會(huì)用到（代碼），在許多情況下這能極大的降低使用該論文的壁壘。

鼓勵(lì)研究者添加附加實(shí)現(xiàn)，這也是 ICML2019 程序主席 Kamalika Chaudhuri 和 Ruslan Salakhutdinov 今年的策略。

除了鼓勵(lì)外，我們需要進(jìn)一步強(qiáng)制代碼提交嗎？考慮到一篇論文是否應(yīng)該發(fā)布，持懷疑態(tài)度的審稿人肯定可以將可重復(fù)性的價(jià)值與其他價(jià)值進(jìn)行權(quán)衡。因此有需要的話可以有附加代碼，但強(qiáng)制代替提交卻會(huì)降低其它價(jià)值。

我們應(yīng)該少添加一些附加材料嗎？我看不到理由：附加的方法能純粹改進(jìn)作者/評審/發(fā)布流程。不是每個(gè)人都能夠利用這些好處，但限制其他人利用這些好處就很不合情理了。

最后值得一提的是，今年 ICML 的代碼提交流程是個(gè)嘗試。我們希望所有的程序主席能夠作此嘗試，因?yàn)檫@是改進(jìn)的開始。我們應(yīng)該盡全力嘗試這樣的工作，評估得失，預(yù)期明年的調(diào)整。