import time
from selenium import webdriver
brower=webdriver.Chrome()
brower.set_page_load_timeout(30)
brower.get('https://s.taobao.com/search?spm=a230r.1.0.0.79586e9e6BUlIl&q=%E5%8D%8E%E4%B8%BAP20&spu_title=%E5%8D%8E%E4%B8%BA+P20&app=detailproduct&pspuid=1591360&jc=1&cat=1512&from_pos=19_1512.bpvcombo_1_0_1591360')
time.sleep(1)
#brower.execute_script("window.scrollBy(0,2400)")
page_infor=brower.find_element_by_css_selector('#spudetail-pager > div > div > div > div.total')
#print(page_infor.text)
pages=page_infor.text.split()[1]
brower.execute_script('window.scrollTo(0,document.body.scrollHeight);')
time.sleep(8)
goodsshop=brower.find_elements_by_class_name('shopname')
for goodshop in goodsshop:
print(goodshop.text)
得到的結果不是全部的爬取結果,請問下應該怎么去改動程式,也就是說怎么樣讓所有的店鋪名顯示。新人求幫助
三際數碼官方旗艦店
恒波官方旗艦店
同步飛揚數碼專營店
華為眾泰專賣店
君問數碼官方旗艦店
華為莫問專賣店
中國移動手機官方旗艦店
能良數碼官方旗艦店
綠森數碼官方旗艦店
cheng330029
簡益通訊
美顏神器數碼
uj5u.com熱心網友回復:
sleep的時間是不是太短了。uj5u.com熱心網友回復:
不是,是因為淘寶頁面是異步加載的 所以不能直接翻頁到底部,要一部分一部分翻頁uj5u.com熱心網友回復:
那就用webdriver來控制
uj5u.com熱心網友回復:
對的,最后解決了,利用selenium模擬滑鼠滾動
uj5u.com熱心網友回復:
你的不用登錄的嗎,爬淘寶現在要登陸了,怎么解決呀uj5u.com熱心網友回復:
你的不用登錄的嗎,爬淘寶現在要登陸了,怎么解決呀
就是呀淘寶要登錄了
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/84006.html
上一篇:pycharm程式不能運行
