兩位歐洲核子研究中心的理論物理學家從谷歌的搜索頁中獲得靈感，試圖開發(fā)一個新算法以更好地評價科學家及他們的工作。在arXiv最近發(fā)表的一項研究中，Alessandro Strumia和Riccardo Torre提出了使用谷歌的PageRank算法原理的新指標，該算法之前主要用于決定網(wǎng)頁在搜索結(jié)果中的顯示順序。

圖片來自網(wǎng)絡(luò)

如今，生產(chǎn)率指數(shù)，例如H因子等越來越成為研究基金申請，學術(shù)工作評價的一部分。提出新指標的兩位物理學家認為他們關(guān)于綜合指數(shù)的提議將改善這些評價，但是也有其他研究人員對其透明度表示擔憂。

許多研究工作者都在致力于找到一個能夠綜合評測學者研究工作的指標，Strumia和Torre只是其中的兩個。Torre說：“因為如今作者和論文的數(shù)量越來越巨大，實現(xiàn)文獻計量評估是非常重要的?！爆F(xiàn)有的評價體系過于簡單而存在缺陷，他們擔心有的學者會鉆空子來提高自己的評價指數(shù)，比如不斷地自引。

兩位物理學家選擇了一種依賴于擴大引文定義的方法。傳統(tǒng)的計算方法只統(tǒng)計了那些正在被引用的研究工作，但忽略了Strumia和Torre口中的“二次引用”的東西，也就是當你引用某篇文章時，這篇文章其實是引用之前一篇文章的，而之前那篇的引用貢獻就被忽略了。

為了能讓這些二次引用也發(fā)揮價值，Strumia和Torre采用了PaperRank, 一種以所有前引數(shù)據(jù)為基礎(chǔ)的研究影響力評估方法。它與谷歌的PageRank類似，后者通過計算鏈接到特定網(wǎng)站的網(wǎng)頁的數(shù)量和質(zhì)量對網(wǎng)站進行排名。Torre表示，PaperRank展現(xiàn)出真正的價值需要一些時間，隨著時間的推移那些二代三代甚至未來的引用被計入其中，其結(jié)果才能展現(xiàn)出意義。另一方面，由于PaperRank會評價所有文獻中的所有其他相似研究，而不僅僅針對其中一個或幾個作者的工作，因此很難鉆空子。如果有人做了比你做了更重要的工作，即便你的引用數(shù)很高，你得到的貢獻值也很小。

此外，并非所有的引用都是平等的，研究人員會更希望得到他們自己研究領(lǐng)域內(nèi)大牛們的認可。所以Strumia和Torre又創(chuàng)建了AuthorRank，以此來鼓勵那些被高引作者所引用的研究人員。

Torre說在現(xiàn)實世界里，當求職者申請某一崗位的時候，雇主會對他遞交的文件進行篩查，對這個人的能力進行評估，但出現(xiàn)上百個申請人的時候，這一工作便很艱難。Torre說，他們希望自己提出的評估體系在這一場景中也能發(fā)揮作用。AuthorRank在識別評估那些年代已久，未能上線的工作方面也表現(xiàn)十分出色。

為了測試他們的這套指標， Strumia和Torre在擁有70,000多名作者，超過一百萬篇論文的在線物理數(shù)據(jù)庫INSPIRE中運行了AuthorRank和PaperRank。AuthorRank的結(jié)果顯示，Paul Dirac是歷史上最具影響力的物理學家。上了名單的，目前還在世并依然投身科研的三位物理學分別是新澤西州普林斯頓高級研究所的Edward Witten，德克薩斯大學奧斯汀分校的諾貝爾獎獲得者Steven Weinberg，和荷蘭烏特勒支大學的諾貝爾獎獲得者Gerard't Hooft。根據(jù)PaperRank的計算，Weinberg 1967年關(guān)于統(tǒng)一弱電磁力的文章“輕子模型”是在INSPIRE中最有影響力的工作。

Strumia和Torre還對一些最新的論文進行了評測。在自2010年以來發(fā)表的研究中，2012年關(guān)于黑洞防火墻的論文“Black holes: Complementarity or firewalls?”位居榜首。

而對于近年來蜂擁涌現(xiàn)的各種評價指數(shù)比較熟悉的學者們就Strumia和Torre的新指數(shù)也意見不一。芬蘭赫爾辛基大學的生物學家Justin Flatt說：“這些指標在某些特定情境下非常有用，例如在基礎(chǔ)物理學等特定領(lǐng)域為研究人員終身成就做出評價。但在做招聘、推廣和資助決策時，我會避免使用它們，特別是對于年輕的研究人員?！?/p>

荷蘭萊頓大學科學與技術(shù)研究中心副主任Ludo Waltman覺得他們的體系非常有意義并且值得探討。但由于其復(fù)雜性，PaperRank和AuthorRank透明度不如簡單的基于引用的指標，這意味著可能會產(chǎn)生一些誤讀。雖然這些指數(shù)難以被鉆空子，但它們可能會被單獨一篇高引論文影響綜合結(jié)果。

Strumia和Torre還建立了第三個指標CitationCoin，這個指標將消除兩個研究人員之間互引的數(shù)據(jù)。該指數(shù)旨在解決過度自引和大型引用聯(lián)盟的問題，即同組研究人員之間的過度互引。

但是，F(xiàn)latt說，這樣的衡量標準可能會將引用簡單地變成一種認可度的標識，而不是“將概念，技術(shù)和進步聯(lián)系在一起”的工具。Flatt自己也開發(fā)過一個針對自引做法的指標，他認為 “自引和非自引都很重要，只要它們來自協(xié)作，持續(xù)，前沿的工作”。