沒人否認(rèn)，維基百科是現(xiàn)代最令人驚嘆的人類發(fā)明之一。

幾年前誰能想到，匿名貢獻者們的義務(wù)工作竟創(chuàng)造出前所未有的巨大在線知識庫？維基百科不僅是你寫大學(xué)論文時最好的信息渠道，也是一個極其豐富的數(shù)據(jù)源。

從自然語言處理到監(jiān)督式機器學(xué)習(xí)，維基百科助力了無數(shù)的數(shù)據(jù)科學(xué)項目。

維基百科的規(guī)模之大，可稱為世上最大的百科全書，但也因此稍讓數(shù)據(jù)工程師們感到頭疼。當(dāng)然，有合適的工具的話，數(shù)據(jù)量的規(guī)模就不是那么大的問題了。

本文將介紹“如何編程下載和解析英文版維基百科”。

在介紹過程中，我們也會提及以下幾個數(shù)據(jù)科學(xué)中重要的問題：

1、從網(wǎng)絡(luò)中搜索和編程下載數(shù)據(jù)

2、運用Python庫解析網(wǎng)絡(luò)數(shù)據(jù)（HTML, XML, MediaWiki格式）

3、多進程處理、并行化處理

這個項目最初是想要收集維基百科上所有的書籍信息，但我之后發(fā)現(xiàn)項目中使用的解決方法可以有更廣泛的應(yīng)用。這里提到的，以及在Jupyter Notebook里展示的技術(shù)，能夠高效處理維基百科上的所有文章，同時還能擴展到其它的網(wǎng)絡(luò)數(shù)據(jù)源中。

本文中運用的Python代碼的筆記放在GitHub，靈感來源于Douwe Osinga超棒的《深度學(xué)習(xí)手冊》。前面提到的Jupyter Notebooks也可以免費獲取。

GitHub鏈接：

https://github.com/WillKoehrsen/wikipedia-data-science/blob/master/notebooks/Downloading%20and%20Parsing%20Wikipedia%20Articles.ipynb

免費獲取地址：

https://github.com/DOsinga/deep_learning_cookbook

編程搜索和下載數(shù)據(jù)

任何一個數(shù)據(jù)科學(xué)項目第一步都是獲取數(shù)據(jù)。我們當(dāng)然可以一個個進入維基百科頁面打包下載搜索結(jié)果，但很快就會下載受限，而且還會給維基百科的服務(wù)器造成壓力。還有一種辦法，我們通過dumps.wikimedia.org這個網(wǎng)站獲取維基百科所有數(shù)據(jù)的定期快照結(jié)果，又稱dump。

用下面這段代碼，我們可以看到數(shù)據(jù)庫的可用版本：

import requests# Library for parsing HTMLfrom bs4 import BeautifulSoupbase_url = 'https://dumps.wikimedia.org/enwiki/'index = requests.get(base_url).textsoup_index = BeautifulSoup(index, 'html.parser')# Find the links on the pagedumps = [a['href'] for a in soup_index.find_all('a') if a.has_attr('href')]dumps['../', '20180620/', '20180701/', '20180720/', '20180801/', '20180820/', '20180901/', '20180920/', 'latest/']

這段代碼使用了BeautifulSoup庫來解析HTML。由于HTML是網(wǎng)頁的標(biāo)準(zhǔn)標(biāo)識語言，因此就處理網(wǎng)絡(luò)數(shù)據(jù)來說，這個庫簡直是無價瑰寶。

本項目使用的是2018年9月1日的dump（有些dump數(shù)據(jù)不全，請確保選擇一個你所需的數(shù)據(jù)）。我們使用下列代碼來找到dump里所有的文件。

dump_url = base_url + '20180901/'# Retrieve the htmldump_html = requests.get(dump_url).text# Convert to a soupsoup_dump = BeautifulSoup(dump_html, 'html.parser')# Find list elements with the class filesoup_dump.find_all('li', {'class': 'file'})[:3][

enwiki-20180901-pages-articles-multistream.xml.bz2 15.2 GB

,

enwiki-20180901-pages-articles-multistream-index.txt.bz2 195.6 MB

,

enwiki-20180901-pages-meta-history1.xml-p10p2101.7z 320.6 MB

]

我們再一次使用BeautifulSoup來解析網(wǎng)絡(luò)找尋文件。我們可以在https://dumps.wikimedia.org/enwiki/20180901/頁面里手工下載文件，但這就不夠效率了。網(wǎng)絡(luò)數(shù)據(jù)如此龐雜，懂得如何解析HTML和在程序中與網(wǎng)頁交互是非常有用的——學(xué)點網(wǎng)站檢索知識，龐大的新數(shù)據(jù)源便觸手可及。

考慮好下載什么

上述代碼把dump里的所有文件都找出來了，你也就有了一些下載的選擇：文章當(dāng)前版本，文章頁以及當(dāng)前討論列表，或者是文章所有歷史修改版本和討論列表。如果你選擇最后一個，那就是萬億字節(jié)的數(shù)據(jù)量了！本項目只選用文章最新版本。

所有文章的當(dāng)前版本能以單個文檔的形式獲得，但如果我們下載解析這個文檔，就得非常費勁地一篇篇文章翻看，非常低效。更好的辦法是，下載多個分區(qū)文檔，每個文檔內(nèi)容是文章的一個章節(jié)。之后，我們可以通過并行化一次解析多個文檔，顯著提高效率。

“當(dāng)我處理文檔時，我更喜歡多個小文檔而非一個大文檔，這樣我就可以并行化運行多個文檔了。”

分區(qū)文檔格式為bz2壓縮的XML（可擴展標(biāo)識語言），每個分區(qū)大小300～400MB，全部的壓縮包大小15.4GB。無需解壓，但如果你想解壓，大小約58GB。這個大小對于人類的全部知識來說似乎并不太大。

維基百科壓縮文件大小

下載文件

Keras 中的get_file語句在實際下載文件中非常好用。下面的代碼可通過鏈接下載文件并保存到磁盤中：

from keras.utils import get_filesaved_file_path = get_file(file, url)

下載的文件保存在~/.keras/datasets/，也是Keras默認(rèn)保存設(shè)置。一次性下載全部文件需2個多小時（你可以試試并行下載，但我試圖同時進行多個下載任務(wù)時被限速了）

解析數(shù)據(jù)

我們首先得解壓文件。但實際我們發(fā)現(xiàn)，想獲取全部文章數(shù)據(jù)根本不需要這樣。我們可以通過一次解壓運行一行內(nèi)容來迭代文檔。當(dāng)內(nèi)存不夠運行大容量數(shù)據(jù)時，在文件間迭代通常是唯一選擇。我們可以使用bz2庫對bz2壓縮的文件迭代。

不過在測試過程中，我發(fā)現(xiàn)了一個更快捷（雙倍快捷）的方法，用的是system utility bzcat以及Python模塊的subprocess。以上揭示了一個重要的觀點：解決問題往往有很多種辦法，而找到最有效辦法的唯一方式就是對我們的方案進行基準(zhǔn)測試。這可以很簡單地通過%%timeit Jupyter cell magic來對方案計時評價。

迭代解壓文件的基本格式為：

data_path = '~/.keras/datasets/enwiki-20180901-pages-articles15.xml-p7744803p9244803.bz2# Iterate through compressed file one line at a timefor line in subprocess.Popen(['bzcat'], stdin = open(data_path), stdout = subprocess.PIPE).stdout: # process line

如果簡單地讀取XML數(shù)據(jù)，并附為一個列表，我們得到看起來像這樣的東西：

維基百科文章的源XML

上面展示了一篇維基百科文章的XML文件。每個文件里面有成千上萬篇文章，因此我們下載的文件里包含百萬行這樣的語句。如果我們真想把事情弄復(fù)雜，我們可以用正則表達(dá)式和字符串匹配跑一遍文檔來找到每篇文章。這就極其低效了，我們可以采取一個更好的辦法：使用解析XML和維基百科式文章的定制化工具。

解析方法

我們需要在兩個層面上來解析文檔：

1、從XML中提取文章標(biāo)題和內(nèi)容

2、從文章內(nèi)容中提取相關(guān)信息

好在，Python對這兩個都有不錯的應(yīng)對方法。

解析XML

解決第一個問題——定位文章，我們使用SAX（Simple API for XML） 語法解析器。BeautifulSoup語句也可以用來解析XML，但需要內(nèi)存載入整個文檔并且建立一個文檔對象模型（DOM）。而SAX一次只運行XML里的一行字，完美符合我們的應(yīng)用場景。

基本思路就是我們對XML文檔進行搜索，在特定標(biāo)簽間提取相關(guān)信息。例如，給出下面這段XML語句：

'''Carroll F. Knicely''' (born c. 1929 in [[Staunton, Virginia]] - died November 2, 2006 in [[Glasgow, Kentucky]]) was [[Editing|editor]] and [[Publishing|publisher]] of the ''[[Glasgow Daily Times]]'' for nearly 20 years (and later, its owner) and served under three [[Governor of Kentucky|Kentucky Governors]] as commissioner and later Commerce Secretary. '

我們想篩出在