我在redis的佇列中存盤了兩千條start_url，但是在進行爬取的時候，每次都是爬了幾十潭訓者百來條，就會進入等待獲取start_url的狀態
uj5u.com熱心網友回復：
有沒有大佬幫忙分析一下，我百度查了好多了，但是沒有找到能夠解決的辦法。
因為它能夠從佇列中拿資料進行爬取，就是會跑了一陣子之后拿不到資料了，重新啟動爬蟲，又會有一些start_url可以爬，但是不一會兒又會沒有start_url了
uj5u.com熱心網友回復：
眉沒有人嗎
uj5u.com熱心網友回復：
是本地爬取還是說別的？uj5u.com熱心網友回復：
在服務器上爬的，redis在另一臺服務器上uj5u.com熱心網友回復：
如何是在網路爬取最好就是偽裝，以防萬一IP給封訪問不了，雖然說你是在自己的兩個服務來回爬取，但也可能會給封IP。如何是你在本地這樣弄倒不會出現問題。我只可以說有概率是IP給封了訪問不了轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/11785.html
上一篇：小白求助：業務常需要查詢某單位的賬號，想用python做個查詢工具
下一篇：迭代器模式在開源代碼中的應用