前言
本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,著作權歸原作者所有,如有問題請及時聯系我們以作處理，
作者：nanyc
Scrapy的下載
在終端中輸入代碼'pip3 install scrapy'，
創建Scrapy專案
假設你希望將專案保存至桌面名為Python的檔案夾中，可以在終端中輸入'cd '，并將Python檔案夾拖拽至其后，換行后，繼續輸入'scrapy startproject ScrapyProject'，此處的ScrapyProject為該專案的名字，可根據情況自行定義，
定義items資料
Scrapy專案創建成功后，我們可以在其所在的檔案夾里看到spiders，pipelines.py，middlewares.py，settings.py等一系列檔案，我們需要做的是在其中找到items.py，并對其進行修改，此處的重點在于定義所需資料的屬性，其中主要會使用到scrapy.Field()，
創建爬蟲檔案
同樣在ScrapyProject檔案夾內，找到spiders檔案夾，并在內創建一個新的爬蟲檔案，如下圖的book.py，（需要與_pychache_及_init_檔案同級，）
編輯爬蟲檔案
此處的爬蟲檔案為整個Scrapy專案的核心，資料的決議與提取都是在這一步進行的，
運行Scrapy程式
在ScrapyProject檔案夾內，找到settings.py檔案，并更改好user_agent相關資訊，之后再在終端輸入代碼scrapy crawl book即可，（book為此爬蟲的名字，）
注：上述內容皆為Mac環境下的操作，
PS：如有需要Python學習資料的小伙伴可以加下方的群去找免費管理員領取
可以免費領取原始碼、專案實戰視頻、PDF檔案等
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/61887.html
標籤：Python
下一篇：還不知道怎么學習python嘛？現在限時免費獲取‘’21天學通Python‘’電子書籍一本，讓你學習python暢通無阻！