去年 3 月，谷歌聯(lián)手 OpenAI 等推出了全新的開放式期刊平臺 Distill，其指導委員會包括 Yoshua Bengio、Ian Goodfellow 等眾多學界大牛。

目前，大多數(shù)的機器學習論文要么發(fā)表在 arXiv 上，要么發(fā)表在傳統(tǒng)期刊上，但最終呈現(xiàn)的形式都非常單一。而Distill 的目標是以可視化、可交互的形式來展示機器學習研究成果，并讓研究成果更容易被復現(xiàn)，以顛覆傳統(tǒng)的出版方式，因此得到了機器學習社區(qū)的大力支持。

如今，一年多的時間已經(jīng)過去，被寄予厚望的 Distill 卻只發(fā)布了 12 篇論文。雖然 Distill 對論文標準的要求較高，而且有較長的審核流程，但是目前的進展確實有點差強人意。

近日，Distill 撰文對過去一年多的工作進行了總結，有可取之處，也有經(jīng)驗教訓，下面一起來看下吧~

以下內容由AI科技大本營編譯：

一年多以前，我們正式發(fā)布了開放式科學期刊 Distill。

它的成長從出現(xiàn)開始便激動人心。一年多來 Distill 累計擁有了超過一百萬的專業(yè)讀者，瀏覽量超過 290 萬次。目前為止，發(fā)布在 Distill 上的期刊論文平均引用量達 23 次。更重要的是，我們發(fā)表了一些結構清晰和可復現(xiàn)性極高的新論文，這極大的促進了新科學傳播方式的發(fā)展。

盡管如此，我們發(fā)現(xiàn)仍然有很多有待改進之處。為此，我們一直在不斷地反思。在新版本的 Distill 中，我們計劃進行如下更改：

將論文指導與評審的工作分開。

明確并簡化 Distill 評審流程，包括新的評審工作流程。

優(yōu)化資源以幫助每一個人，而不再是一對一的指導，從創(chuàng)建 Slcak 工作區(qū)開始。

簡化代理編輯引入流程以解決利益沖突。

明確關于雙重提交的政策。

發(fā)展 Distill 編輯團隊，Arvind Satyanarayan 將加入編輯團隊，負責監(jiān)督 HCI + AI（人機交互+人工智能）領域。

▌成功之處

直觀展現(xiàn)思維方式的界面

我們相信最好的解釋往往可以帶來更深層次的思考：它們是思想的接口，一種思維方式和概念的互動?；谶@種理念，我們可以看到 Distill 上很多文章都利用了可視化的展示，來激發(fā)思考的火花，促進思想的交流。

這其中最具代表性的文章是 Gabriel Goh 的“Why Momentum Really Works（梯度下降中動量為何如此有效）”。很多工業(yè)界的人士對該問題都缺乏了解，這背后涉及很多數(shù)學問題，因此并不直觀。在我們看來，傳統(tǒng)的學術出版物并不強調闡明技術思想所伴隨的直覺——像老師在白板上與學生分享的那種。

相比之下，Gabe 的這篇文章不僅運用了很多直觀的圖形表達，還分享了作者的一些直覺。在交互性工具的支持下，它讓讀者直接進入了一種思維方式。而且更有趣的是，通過將心智模型歸結為計算驅動的界面，作者發(fā)現(xiàn)了思考不完善的地方。

這種界面設計和這種思路可能并不新穎，但 Distill 在過去的一年中的的確確推動了這一方式的發(fā)展，我們也將對它的未來拭目以待。

深入?yún)⑴c

更令人興奮的一個發(fā)現(xiàn)是 Distill 上的文章可以讓深入思考變得更加容易。通常情況下，從閱讀一篇論文到進行實驗這中間需要很大的跨越，但 Distill 上的論文卻可以讓讀者直接成為論文研究的一份子：

Distill 最近的幾篇文章實踐了這一想法。它們不僅把重要的概念通過交互式結果表現(xiàn)出來，還提供了 Notebook 讓讀者可以在線重現(xiàn)這一結果。當然這個 Notebook 不僅僅能讓讀者測試一個新的想法，更能讓他們無需任何設置就可以深入?yún)⑴c到最新的研究中，而且在幾分鐘之內就可以完成一個有趣的實驗。

截至今天，已有超過 6,000 名讀者使用過這些 Notebook。

可復現(xiàn)性一直被認為是維持科學健康發(fā)展的重要組成部分?，F(xiàn)在越來越多的研究人員正在開源他們的工作，甚至將數(shù)據(jù)分析腳本這樣的中間文件放在 GitHub 上。但 Distill 這些在線的Notebook 則允許作者更進一步，直接參與我們所謂的“主動復現(xiàn)性”：不僅使文章工作在技術上可復現(xiàn)，還使其更為方便。我們希望看到更多的論文作者在這方面投入精力。

科學出版物的軟件工程最佳實踐

在過去的一年中，這種通過軟件工程最佳實踐來運營科學期刊的方式還顯示出了另外幾個優(yōu)勢：

1.可以讓讀者更加透明地了解出版過程。Distill 的每篇文章都存儲在 GitHub 的 Repository 中，同行可以通過 GitHub的問題跟蹤器進行評審。（例如，讀者可以看到 Gabriel Goh 那篇文章更新過程，可以了解到文章創(chuàng)意的起源等等。）

2.讀者甚至可以參與到文章發(fā)布后持續(xù)評審工作，包括提交修復拼寫錯誤的請求，進行更徹底的編輯，甚至與作者進行討論。

3.Distill 為科學論文提供了一系列的集成方案，作者也受益于此設置。文章在發(fā)布前會自動保存草稿，并通過受密碼保護的 URL 進行訪問。作者可以自由地分享這些地址來尋求初步反饋，并確保他們的讀者將始終能夠看到最新版本的草稿。

▌問題與改進

獎項評選

遺憾的是，我們還沒有評選出 2018 年的 Distill 獎。我們總共收到了 59 份研究工作，其中一些是由很多內容組成的系列講座。我們沒有預料到這種內容，也沒有一個很好的流程來評估它。還有一方面在于我們有點完美主義。今后，我們的目標是通過快速的評審流程來更好地平衡內容質量和評審時間。

我們會盡力在 2018 年感恩節(jié)之前頒發(fā) Distill 獎，并以更及時的方式推進這一過程。

一個小小的社區(qū)

Distill 旨在培養(yǎng)一種新的科學傳播方式，并建立一個支持它的生態(tài)系統(tǒng)。我們希望隨著時間的推移逐漸壯大這個社區(qū)，但目前 Distill 的作者和編輯數(shù)量要比傳統(tǒng)學術平臺少得多。

導致的結果之一是 Distill 的出版量很低（截至目前 12 篇）。盡管我們?yōu)榇烁冻隽撕芏嗯?，但這稍有些慘淡的結果這不禁讓我們思考：我們是否需要改變 Distill 的投稿標準？論文數(shù)量是 Distill 應該關注的嗎？

當然我們相信，只要內容非常出色，Distill 在可預見的未來一定可以成為一個小規(guī)模的“定制”期刊。Distill 的特色其實在于它為那些非傳統(tǒng)的研究工作提供了正規(guī)化的期刊平臺。所以要更加側重出版的質量，而不是數(shù)量。

小規(guī)模社區(qū)中的另一個問題是社區(qū)成員之間經(jīng)常存在私下的聯(lián)系。社區(qū)這么緊密當然很好，但這也意味著我們必須要處理許多潛在的利益沖突。圍繞這些利益沖突的帶來的挑戰(zhàn)才剛剛出現(xiàn)，我們希望隨著編輯團隊的發(fā)展，這個問題在未來幾年變得不那么成問題。但不得已的是，我們經(jīng)常還需要引入獨立的代理編輯來解決利益沖突。

我們之前邀請獨立編輯的流程是通過 Distill 指導委員會的成員。（當然也非常感謝 Ian Goodfellow 對此的耐心幫助。）然而為了更長遠的發(fā)展，我們更想制定一個更獨立的機制：

如果存在利益沖突，Distill 編輯將選擇研究社區(qū)的成員作為文章的臨時“代理編輯”。代理編輯應該是相關研究界的成員，并且與作者保持一定的距離。代理編輯的身份將在審稿日志中注明，并在文章發(fā)布時公布。

評審流程

鑒于很多研究人員并不具備寫出一篇 Distill 所要求的文章那樣的技能，Distill 在一開始采用了相當激進的評審流程。我們對作者提供了廣泛的指導和幫助，以幫助他們改善文章。

但不幸的是，這一做法雖然產(chǎn)生了讓我們很滿意的一批文章，但由于 Distill 的編輯都是志愿者， 他們有自己的本職工作，而我們需要的那種文章每篇可能需要花費 20-80 個小時來進行指導。他們在論文指導者和論文評審的雙重角色中不停轉換，最終不堪重負。

Distill 應該為作者和編輯帶來更好的使用體驗。為此，我們將對其評審流程進行如下變更：

Distill 的指導過程將同審稿過程分離開來。

Distill 只會對完整提交的文章進行評審。

我們創(chuàng)建了一個公眾評審表格，明確定義了評審標準。

Distill 的文章提交頁面也對新的審稿規(guī)則進行了詳細描述。這一規(guī)則更改不適用于之前已經(jīng)根據(jù)舊規(guī)則提交的文章。明年，我們希望增加那些主題較小的短篇文章的數(shù)量。

▌其他變化

文章提交政策

對 Distill 來說，遵守 “雙重出版”規(guī)則是非常重要的，并且不能讓大家覺得我們和 arXiv 是類似的。

所以，Distill 只考慮與那些與在其他地方正式發(fā)表的文章存在本質不同的文章，而且要對非正式發(fā)表的文章持謹慎態(tài)度：

特此，我們設想了一些特殊情況下的指導意見：

1.先前沒有出版或關注度低的非正式出版文章：不用擔心！

2.ArXiv 論文：研究人員有時需要及時發(fā)表論文，因此 arXiv 是一個很好的平臺，我們完全理解。只要大家認識到 Distill 是一個正式出版平臺，想要在上面發(fā)表論文幾乎都要做進一步的處理，我們很愿意發(fā)表大家的論文。

3.以前的研討會、會議論文：Distill 非常愿意發(fā)表更前沿、更精美的“期刊”論文，但是這些論文必須通過結合改進闡述，更好地揭示潛在的見解和思維方式，整合一系列論文或實驗等方式，在以前的研究基礎上有實質性的進步。

4.備受矚目的非正式論文：與上面提到的第三種情況類似。