import scrapy
class getdata(scrapy.Spider):
name = "baidu"
start_urls=["www.baidu.com"]
def parse(self, response):
print(1)
列印不出1來啊。
請高手指點。程式執行也不報錯。是不是缺少什么插件或者配置有問題呢。百度一圈也沒解決這個問題。
uj5u.com熱心網友回復:
ROBOTSTXT_OBEY = False setting中設定試試uj5u.com熱心網友回復:
謝謝大兄弟,我改了。還是不好用。。。。
uj5u.com熱心網友回復:
你沒有加協議 是訪問不了的 = =start_urls=["http://www.baidu.com"]
uj5u.com熱心網友回復:
問題解決了,謝謝各位。除錯的時候加上from scrapy import cmdline
cmdline.execute("scrapy crawl XXX".split())
就好使了。命令列執行scrapy crawl XXX這個也可以,不過我新手不太懂。
uj5u.com熱心網友回復:
from scrapy import cmdlinecmdline.execute("scrapy crawl XXX".split())
請問這個要寫在哪里?? XXX代表什么??
小白問題比較多
uj5u.com熱心網友回復:
你寫的爬蟲檔案的檔案名,不用加后綴
uj5u.com熱心網友回復:
您好 我在命令執行的時候也是沒有執行print 陳述句 請問怎么除錯啊
新手小白
uj5u.com熱心網友回復:
scrapy 的啟動方式為在爬蟲專案目錄下cmd執行 scrapy crawl xxx XXX-為你的爬蟲名
直接run是不行的
上面的方法是定義了一個方法來執行CMD中啟動陳述句 比較方便
uj5u.com熱心網友回復:
ROBOTSTXT_OBEY = False setting中設定試試
這個方法可以
uj5u.com熱心網友回復:
請問我根據樓主的方法使用后提示No module named 'GetImage.settings',這是為什么啊uj5u.com熱心網友回復:
ROBOTSTXT_OBEY = Falseuj5u.com熱心網友回復:
ROBOTSTXT_OBEY = False setting設定了,from scrapy import cmdlinecmdline.execute("scrapy crawl XXX".split())也有這樣一個啟動檔案了,但是還是沒有解決,沒有進入def parse(self, response):輸出東西,資料爬不下來,求助
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/76647.html
