本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,著作權歸原作者所有,如有問題請及時聯系我們以作處理
以下文章來源于數學建模Matlab與資料分析
一、網路爬蟲的定義
網路爬蟲，即Web Spider，是一個很形象的名字，
把互聯網比喻成一個蜘蛛網，那么Spider就是該網上爬來爬去的蜘蛛，
網路蜘蛛是通過網頁的鏈接地址來尋找網頁的，
從網站某一個頁面（通常是首頁）開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，
然后通過這些鏈接地址尋找下一個網頁，這樣一直回圈下去，直到把這個網站所有的網頁都抓取完為止，
如果把整個互聯網當成一個網站，那么網路蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來，
這樣看來，網路爬蟲就是一個爬行程式，一個抓取網頁的程式，
網路爬蟲的基本操作是抓取網頁，
那么如何才能隨心所欲地獲得自己想要的頁面？
我們先從URL開始，
二、瀏覽網頁的程序
抓取網頁的程序其實和讀者平時使用IE瀏覽器瀏覽網頁的道理是一樣的，
比如說你在瀏覽器的地址欄中輸入 www.baidu.com 這個地址，
打開網頁的程序其實就是瀏覽器作為一個瀏覽的“客戶端”，向服務器端發送了 一次請求，把服務器端的檔案“抓”到本地，再進行解釋、展現，
HTML是一種標記語言，用標簽標記內容并加以決議和區分，
瀏覽器的功能是將獲取到的HTML代碼進行決議，然后將原始的代碼轉變成我們直接看到的網站頁面，
三、URI和URL的概念和舉例
簡單地來講，URL就是在瀏覽器端輸入的 http://www.baidu.com 這個字串，
在理解URL之前，首先要理解URI的概念，
什么是URI？
Web上每種可用的資源，如 HTML檔案、影像、視頻片段、程式等都由一個通用資源標志符(Universal Resource Identifier， URI)進行定位，
URI通常由三部分組成：
①訪問資源的命名機制；
②存放資源的主機名；
③資源自身 的名稱，由路徑表示，
如下面的URI：
http://www.why.com.cn/myhtml/html1223/
我們可以這樣解釋它：
①這是一個可以通過HTTP協議訪問的資源，
②位于主機 www.webmonkey.com.cn上，
③通過路徑“/html/html40”訪問，
四、URL的理解和舉例
URL是URI的一個子集，它是Uniform Resource Locator的縮寫，譯為“統一資源定位 符”，
通俗地說，URL是Internet上描述資訊資源的字串，主要用在各種WWW客戶程式和服務器程式上，
采用URL可以用一種統一的格式來描述各種資訊資源，包括檔案、服務器的地址和目錄等，
URL的一般格式為(帶方括號[]的為可選項)：
protocol :// hostname[:port] / path / [;parameters][?query]#fragment
URL的格式由三部分組成：
①第一部分是協議(或稱為服務方式)，
②第二部分是存有該資源的主機IP地址(有時也包括埠號)，
③第三部分是主機資源的具體地址，如目錄和檔案名等，
第一部分和第二部分用“://”符號隔開，
第二部分和第三部分用“/”符號隔開，
第一部分和第二部分是不可缺少的，第三部分有時可以省略，
五、URL和URI簡單比較
URI屬于URL更低層次的抽象，一種字串文本標準，
換句話說，URI屬于父類，而URL屬于URI的子類，URL是URI的一個子集，
URI的定義是：統一資源識別符號；
URL的定義是：統一資源定位符，
二者的區別在于，URI表示請求服務器的路徑，定義這么一個資源，
而URL同時說明要如何訪問這個資源（http://），
下面來看看兩個URL的小例子
1.HTTP協議的URL示例：
使用超級文本傳輸協議HTTP，提供超級文本資訊服務的資源，
例：http://www.peopledaily.com.cn/channel/welcome.htm
其計算機域名為www.peopledaily.com.cn，
超級文本檔案(檔案型別為.html)是在目錄 /channel下的welcome.htm，
這是中國人民日報的一臺計算機，
例：http://www.rol.cn.net/talk/talk1.htm
其計算機域名為www.rol.cn.net，
超級文本檔案(檔案型別為.html)是在目錄/talk下的talk1.htm，
這是瑞得聊天室的地址，可由此進入瑞得聊天室的第1室，
2．檔案的URL
用URL表示檔案時，服務器方式用file表示，后面要有主機IP地址、檔案的存取路 徑(即目錄)和檔案名等資訊，
有時可以省略目錄和檔案名，但“/”符號不能省略，
例：file://ftp.yoyodyne.com/pub/files/foobar.txt
上面這個URL代表存放在主機ftp.yoyodyne.com上的pub/files/目錄下的一個檔案，檔案名是foobar.txt，
例：file://ftp.yoyodyne.com/pub
代表主機ftp.yoyodyne.com上的目錄/pub，
例：file://ftp.yoyodyne.com/
代表主機ftp.yoyodyne.com的根目錄，
爬蟲最主要的處理物件就是URL，它根據URL地址取得所需要的檔案內容，然后對它 進行進一步的處理，
因此，準確地理解URL對理解網路爬蟲至關重要，
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/204728.html
標籤：其他