一、為什么要學習爬蟲
-
學習爬蟲，可以私人訂制一個搜索引擎，并且可以對搜索引擎的作業原理進行更深層次地理解，
-
當下是大資料時代，在這個資訊爆炸的時代，我們可以利用爬蟲獲取大量有價值的資料，通過資料分析獲得更多隱性的有價值的規律，
-
方便就業，從就業的角度來說，爬蟲工程師目前來說屬于緊缺人才，并且薪資待遇普遍較高所以，深層次地掌握這門技術，對于就業來說，是非常有利的，（而且輔助作業也是非常不錯的，各種接單平臺，爬蟲的單子多且簡單，收入也很可觀哦！）
-
用途廣泛，針對電商來說，抓取各種商品資訊就可以做到精細化運營，精準營銷，對新聞資訊平臺和搜索引擎來說，抓取其他平臺原創新聞稿，進行熱點分析，就可以合理篩選優質內容，打造更有價值的新聞平臺，（還可以抓取車票、爬取論文素材等等，已經與我們的生活結合在一起了，）
-
在通往全堆疊程式員的道路上，爬蟲是必不可少的一項技術，
點擊獲取爬蟲基礎學習資料
二、爬蟲介紹
網路爬蟲（又稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者），如果我們把互聯網比作一張大的蜘蛛網，那一臺計算機上的資料便是蜘蛛網上的一個獵物，而爬蟲程式就是一只小蜘蛛，沿著蜘蛛網抓取自己想要的獵物資料，
三、爬蟲分類(通用爬蟲和聚焦爬蟲)
通用爬蟲，通用網路爬蟲 是 捜索引擎抓取系統（Baidu、Google、Yahoo等）的重要組成部分，主要目的是將互聯網上的網頁下載到本地，形成一個互聯網內容的鏡像備份，
聚焦爬蟲，聚焦爬蟲，是"面向特定主題需求"的一種網路爬蟲程式，它與通用搜索引擎爬蟲的區別在于： 聚焦爬蟲在實施網頁抓取時會對內容進行處理篩選，盡量保證只抓取與需求相關的網頁資訊，
四、爬蟲的結構
Python爬蟲架構主要由五個部分組成，分別是調度器、URL管理器、網頁下載器、網頁決議器、應用程式（爬取的有價值資料），
調度器：相當于一臺電腦的CPU，主要負責調度URL管理器、下載器、決議器之間的協調作業，
URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重復抓取URL和回圈抓取URL，實作URL管理器主要用三種方式，通過記憶體、資料庫、快取資料庫來實作，
網頁下載器：通過傳入一個URL地址來下載網頁，將網頁轉換成一個字串，網頁下載器有urllib2（Python官方基礎模塊）包括需要登錄、代理、和cookie，requests(第三方包)
網頁決議器：將一個網頁字串進行決議，可以按照我們的要求來提取出我們有用的資訊，也可以根據DOM樹的決議方式來決議，
應用程式：就是從網頁中提取的有用資料組成的一個應用，
五、爬蟲的作業原理及基本流程
打開一個瀏覽器---輸入網址---回車----看到呈現的有關關鍵字網站的串列（每一個網站里有標題，描述資訊，站點，百度快照連接等等之類的）
我們要用爬蟲抓取有關新聞的網頁面的話怎么做呢？ 點擊右鍵--審查元素---控制臺（Elements是網頁源代碼（我們看到的網頁就是源代碼決議出來的），把代碼獲取下來用一些決議庫把代碼決議出來然后存成一些結構化的資料，
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/166775.html
標籤：Python