選擇策略：
就現在網路資源的大小而言，即使很大的搜索引擎也只能獲取網路上可得到資源的一小部分，由勞倫斯和蓋爾斯共同做的一項研究指出，沒有一個搜索引擎抓取的內容達到網路的16%(勞倫斯和蓋爾斯，2001)，雖然網站通常只下載網頁內容的一部分，但每個人仍然強烈要求下載包含大部分相關頁面的部分，
這就要求一個公共標準來區分網頁的重要程度，一個頁面的重要程度與他自身的質量有關，與按照鏈接數、訪問數得出的受歡迎程度有關，甚至與他本身的網址（后來出現的把搜索放在一個頂級域名或者一個固定頁面上的垂直搜索）有關，設計一個好的搜索策略還有額外的困難，它必須在不完整資訊下作業，因為整個頁面的集合在抓取時是未知的，
Cho等人（Cho et al，1998）做了第一份抓取策略的研究，他們的資料是斯坦福大學網站中的18萬個頁面，使用不同的策略分別模仿抓取，排序的方法使用了廣度優先，后鏈計數，和部分pagerank演算法，計算顯示，如果你想要優先下載pagerank高的頁面，那么，部分PageRank策略是比較好的，其次是廣度優先和后鏈計數，并且，這樣的結果僅僅是針對一個站點的，
Najork和Wiener (Najork and Wiener, 2001)采用實際的爬蟲，對3.28億個網頁，采用廣度優先研究，他們發現廣度優先會較早地抓到PageRank高的頁面（但是他們沒有采用其他策略進行研究），作者給出的解釋是：“最重要的頁面會有很多的主機連接到他們，并且那些鏈接會較早地發現，而不用考慮從哪一個主機開始，”
Abiteboul (Abiteboul 等人, 2003)，設計了一種基于OPIC（在線頁面重要指數）的抓取戰略，在OPIC中，每一個頁面都有一個相等的初始權值，并把這些權值平均分給它所指向的頁面，這種演算法與Pagerank相似，但是他的速度很快，并且可以一次完成，OPIC的程式首先抓取獲取權值最大的頁面，實驗在10萬個冪指分布的模擬頁面中進行，并且，實驗沒有和其它策略進行比較，也沒有在真正的WEB頁面測驗，
通過模擬檢索實驗 Boldiet.2004，在. it網路中獲得4000萬頁，在 webbase中獲得1億頁，測驗廣度優先、深度優先、隨機順序和有序順序，比較的基礎是真實頁面pageRank值和計算出來的pageRank值的接近程度，令人驚奇的是，一些計算pageRank很快的頁面（特別明顯的是廣度優先策略和有序序列）僅僅可以達到很小的接近程度，
Baeza-Yates等人(Baeza-Yates et al., 2005) 在從.gr域名和.cl域名子網站上獲取的300萬個頁面上模擬實驗，比較若干個抓取策略，結果顯示OPIC策略和站點佇列長度，都比廣度優先要好；并且如果可行的話，使用之前的爬行抓取結果來指導這次抓取，總是十分有效的，
Daneshpajouh等人(Daneshpajouh et al., 2008)設計了一個用于尋找好種子的社區，它們從來自不同社區的高PageRank頁面開始檢索的方法，迭代次數明顯小于使用隨機種子的檢索，使用這種方式，可以從以前抓取頁面之中找到好的種子，使用這些種子是十分有效的，
限定訪問鏈接
爬行器可能只是尋找 html頁面的種子，避免其他檔案型別，為了僅僅得到html的資源，一個爬蟲可以首先做一個http head的請求，以在使用request方法獲取所有的資源之前，決定這個網路檔案的型別，為了避免要發送過多的head請求，爬蟲可以交替地檢查url并且僅僅對以html，htm和反斜杠結尾的檔案發送資源請求，這種策略會導致很多的html資源在無意中錯過，一種相似的策略是將網路資源的擴展名同已知是html檔案型別的一組擴展名（如.html,.htm,.asp,.php,.aspx,反斜杠）進行比較，
有些爬蟲會被限制在任何一個？這些動態生成的資源用于獲取請求，以避免爬蟲爬到某個網站上下載無數個 URL.
路徑檢索
一些爬蟲會盡可能多地嘗試下載一個特定站點的資源，Cothey(Cothey, 2004)引入了一種路徑檢索的爬蟲，它會嘗試抓取需要檢索資源的所有URL，例如，給定一個種子地址：它將會嘗試檢索/hamster/menkey/,/hamster/和/ ，Cothey發現路徑檢索對發現獨立資源，或者一些通常爬蟲檢索不到的接是非常有效的，
一些路徑檢索的爬蟲也被稱為收割機軟體，因為他們通常用于收割或者收集所有的內容，可能是從特定的頁面或者主機收集相冊的照片，
聚焦抓取
爬蟲所抓取頁面的重要程度也可以表述成它與給定查詢之間相似程度的函式，網路爬蟲嘗試下載相似頁面，可以稱為聚焦檢索或者主題檢索，關于主題檢索和聚焦檢索的概念，最早是由Menczer（Menczer 1997; Menczer and Belew, 1998）和Chakrabarti等人首先提出來的(Chakrabarti et al., 1999)，
聚焦檢索的主要問題是網頁爬蟲的使用環境，我們希望在實際下載頁面之前，就可以知道給定頁面和查詢之間的相似度，一個可能的方法就是在鏈接之中設定錨點，這就是在早期時候，Pinkerton（Pinkerton，1994）曾經在一個爬蟲中采用的策略，Diligenti等人（Diligenti等人，2000）建議使用已經抓取頁面的內容去推測查詢和未訪問頁的相似度，對焦點查詢的性能主要取決于查詢主題內容的豐富度，通常還取決于頁面查詢引擎提供的查詢起點，
抓取深層的網頁
很多的頁面隱藏得很深或隱藏在看不到的網路之中，這些頁面通常只有在向資料庫提交查詢的時候才可以訪問到，如果沒有鏈接指向他們的話，一般的爬蟲是不能訪問到這些頁面的，谷歌站點地圖協議和mod oai（Nelson等人，2005）嘗試允許發現這些深層次的資源，
深層頁面抓取器增加了抓取網頁的鏈接數，有些爬蟲只是抓取內容、標簽和超文本等圖形，
WEB3.0檢索
Web3.0為下一代搜索技術定義了更先進的技術和新的規則，可以概括為語意網路和網站模板決議的概念，第三代檢索技術將建立在人機巧妙的聯系的基礎上，
重新訪問策略
網路具有動態性很強的特性，抓取網路上的一小部分內容可能會花費很長的時間，通常用周或者月來衡量，當爬蟲完成它的抓取的任務以后，很多操作是可能會發生的，這些操作包括新建，更新和洗掉，
從搜索引擎的角度來看，不檢測這些事件是有成本的，成本就是我們僅僅擁有一份過時的資源，最常使用的成本函式，是新鮮度和過時性（2000年，Cho 和Garcia-Molina）
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/194409.html
標籤：Python
上一篇：蜘蛛爬行策略或網路抓取