當(dāng)興趣變成職業(yè)時(shí)，你對它的愛恨只會(huì)越來越鮮明。

我愛爬蟲，因?yàn)槭撬刮疫M(jìn)入了互聯(lián)網(wǎng)行業(yè)，讓我在上海立足。我恨爬蟲，它的天花板太低了，后期非常乏力。

做了大半年的爬蟲工程師，給大家總結(jié)總結(jié)爬蟲工程師的四種死法。

一、學(xué)習(xí)能力不強(qiáng)

爬蟲的入門基礎(chǔ)很簡單，首先學(xué)習(xí) Python 的基礎(chǔ)語法，然后掌握 request、xpath、bs4 等常用的爬蟲庫。通過簡單的網(wǎng)站爬取，快速掌握大致的爬蟲流程：分析網(wǎng)站請求、發(fā)生請求、解析數(shù)據(jù)、存儲(chǔ)數(shù)據(jù)。

再進(jìn)階一點(diǎn)，學(xué)一些簡單的反爬措施，例如添加請求頭、添加 ip 代理、建立 cookie 池等，或者學(xué)習(xí)下 scrapy 框架。用 scrapy 框架寫個(gè)完整的爬蟲項(xiàng)目，基本上就可以找到一份滿意的工作了。

基本上現(xiàn)在大部分的培訓(xùn)機(jī)構(gòu)采用的都像我上面所說的方法，但這樣培訓(xùn)出來的人基本上對于爬蟲的學(xué)習(xí)能力都不太強(qiáng)。

每個(gè)公司根據(jù)自身業(yè)務(wù)的不同，所使用的框架都會(huì)有所調(diào)整。比如使用 Kafaka 中間件來發(fā)生消息、用 Mongodb 來存儲(chǔ)數(shù)據(jù)、用 Redis 來緩存一些消息、用 Fildder 來抓包等等。在實(shí)際的業(yè)務(wù)過程中，會(huì)遭遇很多沒有學(xué)過的東西。

這時(shí)候，你的技能樹就不太夠用了，如果學(xué)習(xí)能力不強(qiáng)，在工作過程只會(huì)越來越吃力，從而被辭退。

趕不上技術(shù)的迭代，一卒。

二、花樣繁多的驗(yàn)證碼

判斷一個(gè)爬蟲工程師的能力，要看他的反爬能力。爬蟲工作最難的部分就是在破解反爬上，而現(xiàn)在主流的反爬手段就是驗(yàn)證碼。

但現(xiàn)在的驗(yàn)證碼越來越變態(tài)，什么樣的形式都有。比如漢字點(diǎn)擊，再難點(diǎn)就是滑塊驗(yàn)證碼，最變態(tài)就是 12306 的驗(yàn)證碼，人工手點(diǎn)還不一定正常。甚至有些網(wǎng)站還玩雙重驗(yàn)證，你好容易過了圖形驗(yàn)證碼，它還有一個(gè)短信驗(yàn)證。

防不勝防的驗(yàn)證碼，二卒。

三、 js知識(shí)缺乏

如果你沒有學(xué)過js，那么爬蟲就會(huì)有新的挑戰(zhàn)。

高端的爬蟲大神，一般都是js大神。所以如果你真的想在爬蟲上有所發(fā)展，那么我建議你可以去深入學(xué)習(xí)js。

不懂 js，三卒。

四、網(wǎng)站改版

上面四步你都弄明白了，但沒過一陣你發(fā)現(xiàn)對方網(wǎng)站改版了，本來正常的代碼，也全部完了。

好不容易你把網(wǎng)站的請求邏輯給整明白，該破解的 js 代碼也破解了，該寫的解析函數(shù)也寫了，爬蟲也正常的運(yùn)行起來了。但沒過幾天你發(fā)現(xiàn)對方的網(wǎng)站改版了！原本所有可以正常運(yùn)行的代碼，全部出錯(cuò)了。。。

網(wǎng)站改版，四卒。