python爬取淘寶評論-有解無憂

因為專案需要，要爬一個產品的五萬多條評論，可是網上評論只能看99頁，總共不到2000條，要怎么樣才能把那五萬多條資料都爬出來啊啊啊

uj5u.com熱心網友回復：

可以根據url繼續傳入99頁后面的頁碼試試能不能爬去到資料，如果不行的話估計就是剩下的評論資料平臺沒有放出來吧！

uj5u.com熱心網友回復：

它就是沒有放出來，手點都只能到99，那是不是就沒有辦法了

uj5u.com熱心網友回復：

參考 1 樓一笑程式猴的回復:

可以根據url繼續傳入99頁后面的頁碼試試能不能爬去到資料，如果不行的話估計就是剩下的評論資料平臺沒有放出來吧！

它就是沒有放出來，手點都只能到99，那是不是就沒有辦法了

uj5u.com熱心網友回復：

參考 3 樓要不要甜的回復:

Quote: 參考 1 樓一笑程式猴的回復:
可以根據url繼續傳入99頁后面的頁碼試試能不能爬去到資料，如果不行的話估計就是剩下的評論資料平臺沒有放出來吧！

它就是沒有放出來，手點都只能到99，那是不是就沒有辦法了

你手動點到第99頁，然后看一下url肯定會傳個頁碼的引數的，假如傳的是99，你傳個100,101等試試看看能不能加載出資料，如何一樣加載不出來，那就沒辦法了，那樣的話估計就是后臺直接把過早的評論過濾掉了。

uj5u.com熱心網友回復：

樓主怎么爬到評論資料的？帶cookie不能常爬吧？

uj5u.com熱心網友回復：

爬蟲代碼能分享先嘛？

uj5u.com熱心網友回復：

爬取淘寶的評論有分  淘寶集市的介面和天貓的介面，兩者要傳的商品欄位也不一樣，這是天貓店評論資料的基礎代碼
import requests
import json
url="https://rate.tmall.com/list_detail_rate.htm"
header={
    "cookie":"cna=EYnEFeatJWUCAbfhIw4Sd0GO; x=__ll%3D-1%26_ato%3D0; hng=CN%7Czh-CN%7CCNY%7C156; uc1=cookie14=UoTaHYecARKhrA%3D%3D; uc3=vt3=F8dBy32hRyZzP%2FF7mzQ%3D&lg2=U%2BGCWk%2F75gdr5Q%3D%3D&nk2=1DsN4FjjwTp04g%3D%3D&id2=UondHPobpDVKHQ%3D%3D; t=ad1fbf51ece233cf3cf73d97af1b6a71; tracknick=%5Cu4F0F%5Cu6625%5Cu7EA22013; lid=%E4%BC%8F%E6%98%A5%E7%BA%A22013; uc4=nk4=0%401up5I07xsWKbOPxFt%2BwuLaZ8XIpO&id4=0%40UOE3EhLY%2FlTwLmADBuTfmfBbGpHG; lgc=%5Cu4F0F%5Cu6625%5Cu7EA22013; enc=ieSqdE6T%2Fa5hYS%2FmKINH0mnUFINK5Fm1ZKC0431E%2BTA9eVjdMzX9GriCY%2FI2HzyyntvFQt66JXyZslcaz0kXgg%3D%3D; _tb_token_=536fb5e55481b; cookie2=157aab0a58189205dd5030a17d89ad52; _m_h5_tk=150df19a222f0e9b600697737515f233_1565931936244; _m_h5_tk_enc=909fba72db21ef8ca51c389f65d5446c; otherx=e%3D1%26p%3D*%26s%3D0%26c%3D0%26f%3D0%26g%3D0%26t%3D0; l=cBa4gFrRqYHNUtVvBOfiquI8a17O4IJ51sPzw4_G2ICP9B5DeMDOWZezto8kCnGVL6mpR3RhSKO4BYTKIPaTlZXRFJXn9MpO.; isg=BI6ORhr9X6-NrOuY33d_XmZFy2SQp1Ju1qe4XLjXJRHsGyp1IJ9IG0kdUwfSA0oh",
    "referer":"https://detail.tmall.com/item.htm",
    "user-agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4098.3 Safari/537.36",
}
params={                                #必帶資訊
    "itemId":"596285864342",            #商品id
    "sellerId":"2616970884",
    "currentPage":"2",                  #頁碼
    "callback":"jsonp2359",
    }
req=requests.get(url,params,headers=header).content.decode('utf-8')[12:-1];     #解碼，并且去除str中影響json轉換的字符（\n\rjsonp(...)）;
result=json.loads(req);
print(result)

這是獲取淘寶集市評論資料的教程和代碼https://blog.csdn.net/u011280778/article/details/104197803

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/96557.html

標籤：腳本語言(Perl/Python)

上一篇：爬蟲初心者求教 ajax模擬

下一篇：有大神知道這個是怎么解決嗎