這是我前幾天看到的一個真實事件，也是我寫這篇文章的緣由：
前幾天有粉絲跟我反饋說，某機構的人跟他說學爬蟲1個月就能接單，讓這小伙子去報名那個機構的爬蟲課程，學完之后1個月就能把6000多的學費賺回來，可能是因為我和粉絲的交流比較多，所以小伙子找到了我，問我這個事情的真偽，我不禁咋舌…
學1個月爬蟲就能去接單賺6000多塊錢？現在會爬蟲的人數不勝數，新手學1個月就能達到月賺6000的水平了？
秉著客觀的態度，就算不信我也沒有去下結論，而是去看了一下他們的課程體系，結果不出我所料，課程大部分都在講Python入門知識（函式等）、requests和XPath等內容，這不都是一些初級爬蟲的知識嗎？能月賺6000？怎么不教年輕人去街上搶錢呢？
當然在學習Python的道路上肯定會困難，沒有好的學習資料，怎么去學習呢？ 學習Python中有不明白推薦加入交流Q群號：928946953 群里有志同道合的小伙伴，互幫互助， 群里有不錯的視頻學習教程和PDF！ 還有大牛解答！
賺外快的事情我也干了很多年，爬蟲自然不在話下，那么今天我來說說5個深入一點的爬蟲問題，讓你清楚爬蟲的真實情況：
1.現在的爬蟲接單真能1個月賺6000的快外？
2.初級爬蟲只能接一些小單，怎樣才算初級爬蟲水平？
3.中級爬蟲是職業爬蟲工程師上崗水平，需要具備什么？
4.高級爬蟲可以說是爬蟲大神，需要掌握哪些技術？
5.爬蟲更高水平要學什么？巔峰爬蟲是什么樣子？
一、爬蟲能否一個月賺6000的外快？
答案肯定是能的，但這取決于你的爬蟲技術水平，
如果你只是一個初級爬蟲你只能靠運氣接單，你拿得出手的一些爬蟲作品可能入不了大單金主的法眼，有時候接個技術難度高一點的，整出來效果都需要花費好幾天，大多數初級爬蟲的人接單都不會超過200塊錢，大多數都是幾十塊錢的單子，月掙6000需要接多少單？我就算你一單的價格平均在100塊錢，那你也是需要60單！
做過兼職的人都知道，1個月60單私活幾乎是不可能的，除非你有特殊的渠道，
再者，拋開初級爬蟲連產品經理都會之外，現在還有那么多第三方網站提供較強大的爬蟲功能，不會爬蟲的人花點小錢也能解決，比如某爪魚、某裔采集器，不管是時間還是成本上都比找花錢請一個爬蟲新手強，
新手學1個月爬蟲就能月入6000塊錢的事情，我敢打包票這只是為了促成你報班，這種手段在良莠不齊的互聯網教育行業屢見不鮮，我直接給出我的結論：不值這個錢、學完你也做不到1月能靠爬蟲賺6000，這水平就是給你1年也賺不了幾個錢，
但如果你的技術達到了中級爬蟲或更高的水平，那就是靠實力和運氣來掙錢了，從技術層面上來講，接大點的單是沒有問題的，一單的價格也是在300~幾千不等，如果是均價600元一單來算，一個月做個四五單賺幾千塊錢是沒問題的，拼一點或者技術好一點的可能賺得更多，前提是你得有這個技術，打臉充胖子是會翻船的，
掙6000塊錢是有可能的，幾千塊錢的單子以前我也做過，
至于去哪接單已是老生常談了，這里我就不多說了，自己去百度吧，百度什么都有，我們繼續下面的話題，來看看爬蟲的初級、中級、高級和巔峰水平是什么樣子！
二、初級爬蟲
根據我這些年來對爬蟲的了解，初級爬蟲的水平大概是這個樣子的：
這個水平能干什么？就是爬蟲一些基本的網站，涉及一點反爬就GG，
比如說我們去爬1個某個網站的文章，這個網站沒有帶反爬機制，那么用 requests 等庫就夠了，用 XPath、BeautifulSoup、PyQuery 或者正則運算式決議一下網頁的原始碼，再加個文本寫入存下來就完事了，
其中的難度并不大，無非是幾個方法呼叫和回圈加儲存，如果存盤方面稍微擴展一下的話，可以對接上 MySQL、MongoDB、Elasticsearch、Kafka 等等來保存資料，實作持久化存盤，以后查詢或者操作會更方便，
這就是初級爬蟲的水平，能爬，但距離“可見即可爬”還道長路遠，接單可想而知也會較吃力，雖然它很基礎，但這又是你學爬蟲的必經之路，
那么我們回顧一下前面那個小伙子的事情，上面這些東西對于新手來說1個月能學完嗎？我覺得難度不小，我不說別的，就說Python入門這一塊，就包含了不少的東西，
1天4個小時學習，沒有基礎的話，在Python入門這一塊你可能就要花2周時間才能學完且穩固，剩下的兩周，你能學完并掌握初級爬蟲剩下的知識嗎？
技術這條道路上很忌諱急功近利，我知道你可以從頭到晚看完并理解一本書就只需要幾天時間，但看完了你能用起來嗎？看是看完了，但看了什么記不起來了，你需要反復練習，同樣的，你1個月是能跟著學完沒有問題，但你能不能站得穩還是個問題，
更何況，有些機構的課程都是挑肥揀瘦的，
三、中級爬蟲
中級爬蟲的水平可以算是職業爬蟲師的基本水平，除了初級爬蟲的知識點之外，還應該掌握以下一些知識點：
1.爬取方式
當你的requests 不頂用的時候（爬下來的和網頁顯示的不一樣），你就應該想到資料來源可能是 Ajax，你去分析網站的時候就得懂JavaScript ；如果想繞過分析 Ajax 和一些 JavaScript 邏輯的程序來爬取資料，我們就得用 Puppeteer、Pyppeteer、Selenium、Splash 等來模擬瀏覽器的方式來爬取，
2.爬取速度
除了爬取方式，還有爬取速度，這時候你就得有多行程、多執行緒、協程的知識儲備了，
3.爬APP
如果你只會網頁爬蟲，那你還算不上中級爬蟲的水平，你還得會爬APP，APP也占據著半壁江山，
這個時候你就得會Charles、Fiddler抓包了，抓到之后拿來模擬就行；如果介面被加密了，可以用 mitmproxy 直接監聽介面資料或者走 Hook，比如上 Xposed 也可以拿到，
爬APP時還有一點比較重要，就是自動化爬取，如果是自己手動戳來實作爬蟲的話，給再多錢也沒用，這就不是個人干得活…比較好的解決方案就是adb工具和Appium ，你說該不該學？
四、高級爬蟲
高級爬蟲師不管是在職場還是兼職方面，都有著很大的優勢，高級爬蟲水平應該掌握以下幾個方面的技術：
1.企業級爬蟲
但凡是接觸過大規模的爬蟲的人都會有所體會到，多執行緒、多行程和協程雖然能夠加快爬取速度，但說白了還是個單機的爬蟲，比起更高級的分布式爬蟲要遜色很多，分布式爬蟲才算得上企業級爬蟲，
分布式爬蟲的重心就在于資源共享，那么我們很有必要去掌握的東西就是RabbitMQ、Celery、Kafka，用來這些基礎的佇列或者組件來實作分布式；其次就是我們大名鼎鼎的Scrapy爬蟲框架，也是目前用得最多的爬蟲框架，對于Scrapy的Redis、Redis-BloomFilter、Cluster 的理解和掌握是必不可少的，
掌握這些東西之后，你的爬蟲才能達到企業級的高效率爬蟲，
2.應對反爬的技術
高級爬蟲水平應該考慮的另一個重心就是反爬，
網頁反爬機制的常見操作就是驗證碼，什么滑塊驗證啊、實物勾選啊、加減法啊等等的，招式層出不窮，這個時候你就得知道如何去應付這些常見的驗證碼了，
還有反爬中常見的IP檢測，搞不好就會封你的號，所以應對手法也是必須得有的，不管你是用免費代理還是付費代理來換代理IP，都是可以的，
以及應對反爬時的分流技術避免賬號被封，分流技術就得建池子，Cookies 池、Token 池、Sign 池，都可以，有了池子之后，你被封的概率也會降低，你也不想爬個公眾號結果WX被封了吧？
五、更高水平的爬蟲（爬蟲的巔峰）
更高水平的爬蟲，以下4點是必會的內容：
1.JS逆向
為什么要學JS逆向爬取？ 在反爬和反反爬的對抗中，用Selenium 等方式來爬也是可以，但效率還是低了，畢竟它模擬的是網頁渲染的整個程序，而真實的資料可能僅僅就藏在一個小介面里，所以JS逆向則是更高級別的爬取技術，尤其是在大型網站的資料爬取，例如某多多和某寶，如果你能用JS逆向去爬下來，無疑是技術高超的證明之一，但JS逆向也不是誰都能修煉成的，確實燒頭發，
APP的逆向就更不用說，網頁可以逆向，APP也能逆向，那你配得上“牛逼”二字，
2.智能化爬蟲
何為智能化爬蟲？ 舉個例子，一般情況下，寫一個爬取小說網站的爬蟲，要根據不同的網站撰寫不同的提取規則，才能提取出想要的內容，而如果使用智能化決議的話，不論是哪個網站，你只需要把網頁的url傳遞給它，就可以通過演算法智能識別出標題、內容、更新時間等資訊，而不需要重復撰寫提取規則，
智能化爬蟲簡而言之就是爬蟲與機器學習技術相結合，使得爬蟲更加智能化，不然的話，要爬1萬個網站，難道我們要寫1萬個爬蟲腳本？
3.爬蟲與運維
爬蟲什么時候與運維搭上關系了?它們倆一直都有著密不可分的關系，只是你的爬蟲需求或者水平沒有達到，所以不會考慮到它們，
爬蟲與運維的關系主要體現在部署和分發、資料的存盤和監控這幾個方面，
比如說如何把1個爬蟲快速部署到100臺主機運行起來?比如怎樣監控一些爬蟲的占用記憶體和 CPU 狀況?比如爬蟲如何設定報警機制來保證爬蟲專案的安全？
Kubernetes 、Prometheus 、Grafana是爬蟲在運維方面用得比較多的技術，在做大點的爬蟲專案時我也是經常拿它們來保駕護航，
4.爬蟲的巔峰
什么是巔峰？可能永遠都沒有巔峰…只要一天沒有擁有強者的發型（全禿），我就不敢說我看到了巔峰…
我隱約感到，爬蟲做到了極致，既能干全堆疊，又能做資料分析，說不好還是演算法大師，沒準在人工智能還能有所建樹，這難到就是爬蟲的巔峰嗎？
今日的分享就到這里，愿你我都能成為金字塔頂端的男人
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/299277.html
標籤：Python
上一篇：PHP建構式和解構式