前言： 本文旨在介紹搭建爬蟲開發環境，幫助新手安裝爬蟲所需的必備庫：
本文所涉及內容：
python3.2以上版本自帶的pip使用說明；
如何安裝selenium庫；
Chrome驅動的下載與除錯；
配置Chrome驅動和selenium包；
安裝其他爬蟲工具包；
注：本文介紹內容均在 Windows 10 系統中測驗，對于 Linux 系統并不適用！
- pip：
pip是一個安裝和管理python包的工具，通過pip來安裝python包將變得很簡單，省去了繁瑣的程序，pip的安裝依賴于setuptools，安裝pip之前需要先安裝setuptools，
在python 3.2及以上版本中已經集成了pip環境，有如下兩種方式可以判斷自己python中是否已經集成pip：
①在 Windows 中自帶的 cmd命令提示符 中輸入 pip 進行驗證
如上所示，即可證明已安裝pip；
②在 python 根目錄下的 script 路徑下查看是否有 pip.exe 檔案或 pip3.exe 檔案
如上所示，即可證明安裝pip；
若系統沒有安裝pip，可通過如下網站下載安裝：
setuptools：https://pypi.python.org/pypi/setuptools
pip：https://pypi.python.org/pypi/pip
pip 的使用 ：
在系統已經安裝 pip 的情況下：
在 cmd 中直接輸入命令： pip install （庫名）；
例： 使用 pip 安裝 requests 庫，只需在 cmd 中輸入 ： pip install requests 即可實作自動安裝，
如圖所示：
- 使用pip安裝 selenium 庫：
在上文中已經提到 pip 的使用教程，因此，只需按照安裝 request 的方式，安裝 selenium 庫即可，
在 cmd 中輸入命令 pip install selenium ，即可實作自動安裝 selenium 庫，
- Chrome driver：
由于如果需要使用selenium的話，需要為本機配置對應瀏覽器的驅動
首先要查看電腦安裝的 Chrome 的版本，查看方式如下：
在圖示位置輸入圖示內容即可查看版本資訊，箭頭所指向位置即當前安裝版本，
chromedriver的下載地址如下：
http://chromedriver.storage.googleapis.com/index.html
在此網址中，一定要下載對應版本的Chromedriver ，
將下載好的ChromeDriver.exe檔案放在Chrome的根目錄下：
- 配置環境變數：
在 Windows10 中的設定搜索高級系統設定
打開之后點環境變數
雙擊path
將之前的瀏覽器根目錄添加進去
配置完成，
在spyder中運行如下代碼
# -*- coding: utf-8 -*-
from selenium import webdriver
driver = webdriver.Chrome()
driver.get("http://www.baidu.com")
print(driver.page_source)
Chrome瀏覽器自動打開并顯示圖片紅框中的內容，則成功配置驅動，
- 其他爬蟲常用的包：
此名單中的包都可使用 pip 安裝，安裝命令仍是 pip install （名稱）
lxml
beautifulsoup
pyquery
pymysql
pymongo
redis
flask
django
若在實際使用中發現缺少某個不在名單中的包，亦可使用 pip 安裝，
覺得有用記得點個贊，拜拜，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/299185.html
標籤：其他