我有一個蜘蛛，比方說，它使用“response.follow”方法跟蹤網站中的所有鏈接，它遞回地執行此操作。它可以多次找到相同的鏈接，但我知道默認情況下，在最新版本的scrapy 中不會再次關注已經關注的鏈接。這是真的？我找不到很多關于這個的資訊。如果這是真的，它會在所有可能的鏈接都用盡時停止爬行，因此每個產生的請求都會重復嗎？
uj5u.com熱心網友回復：
Scrapy 有內置的重復過濾，默認情況下是打開的。也就是說，如果 Scrapy 已經抓取了一個站點并決議了回應，即使您使用該 URL 產生另一個請求，scrapy 也不會處理它。但是您可以設定dont_filter=True和禁用它。
從檔案
dont_filter (bool)– 表示此請求不應被調度程式過濾。當您想要多次執行相同的請求以忽略重復過濾器時使用此選項。小心使用它，否則你會陷入爬行回圈。默認為假。
是的。當所有可能的鏈接都用盡時，它將停止爬行，并過濾掉重復的鏈接
轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/483245.html
上一篇：如何在JavaScript中使用多個分隔符拆分網站URL？
下一篇：如何用R報廢表類名？