Scrapy安裝
官網 https://scrapy.org/
安裝方式
在任意作業系統下，可以使用pip安裝Scrapy，例如：
$ pip install scrapy
為確認Scrapy已安裝成功，首先在Python中測驗能否匯入Scrapy模塊：
>>> import scrapy >>> scrapy.version_info (1, 8, 0)
Python爬蟲、資料分析、網站開發等案例教程視頻免費在線觀看
https://space.bilibili.com/523606542
Python學習交流群：1039649593
然后，在 shell 中測驗能否執行 Scrapy 這條命令：
(base) λ scrapy Scrapy 1.8.0 - no active project Usage: scrapy <command> [options] [args] Available commands: bench Run quick benchmark test fetch Fetch a URL using the Scrapy downloader genspider Generate new spider using pre-defined templates runspider Run a self-contained spider (without creating a project) settings Get settings values shell Interactive scraping console startproject Create new project version Print Scrapy version view Open URL in browser, as seen by Scrapy [ more ] More commands available when run from project directory Use "scrapy <command> -h" to see more info about a command
通過了以上兩項檢測，說明Scrapy安裝成功了，如上所示，我們安裝的是當前最新版本1.8.0
注意：
- 在安裝Scrapy的程序中可能會遇到缺少VC++等錯誤，可以安裝缺失模塊的離線包
- 成功安裝后，在CMD下運行scrapy出現上圖不算真正成功，檢測真正是否成功使用 scrapy bench 測驗，如果沒有提示錯誤，就代表成功安裝
具體Scrapy安裝流程參考： http://doc.scrapy.org/en/latest/intro/install.html##intro-install-platform-notes 里面有各個平臺的安裝方法
全域命令
$ scrapy Scrapy 1.7.3 - no active project Usage: scrapy <command> [options] [args] Available commands: bench Run quick benchmark test ## 測驗電腦性能， fetch Fetch a URL using the Scrapy downloader ## 將源代碼下載下來并顯示出來 genspider Generate new spider using pre-defined templates ## 創建一個新的 spider 檔案 runspider Run a self-contained spider (without creating a project) ## 這個和通過crawl啟動爬蟲不同，scrapy runspider 爬蟲檔案名稱 settings Get settings values ## 獲取當前的配置資訊 shell Interactive scraping console ## 進入 scrapy 的互動模式 startproject Create new project ## 創建爬蟲專案， version Print Scrapy version view Open URL in browser, as seen by Scrapy ## 將網頁document內容下載下來，并且在瀏覽器顯示出來 [ more ] More commands available when run from project directory Use "scrapy <command> -h" to see more info about a command
專案命令
- scrapy startproject projectname
創建一個專案 - scrapy genspider spidername domain
創建爬蟲，創建好爬蟲專案以后，還需要創建爬蟲， - scrapy crawl spidername
運行爬蟲，注意該命令運行時所在的目錄，
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/266224.html
標籤：Python
上一篇：python面試中面試官問你什么是閉包(closure)？該如何回答？
下一篇：零基礎學Python：函式