5.1日記錄異步加載問題:
首先,祝大家五一勞動節快樂!
今天是從學校到家的第二天,昨天趕了一下午的車,
今天上午拿出課本,翻看了與urllip相關的知識點,晚上開始爬取一個新的網頁,這當中遇到了新的問題,這次先記錄一下最主要的問題:異步加載,其他的小問題后續再慢慢更新,畢竟五一期間的主要任務要復習概率論!QAQ!!
異步加載:
今晚,我發現爬取網頁時,代碼應該是沒有問題:
blueball=soup.find_all('span',class_= 'blueball_bigst')
blueball_bigst = [span.get_text() for span in blueball]
print(blueball_bigst)
但是爬取結果反饋為:[’’],經過查閱資料,發現是遇到了異步加載的網頁,
異步加載指在加載的同時執行代碼,向網站進行一次請求,一次只傳部分資料,也就是說,這個網站沒有第一頁、第二頁……等,我們直接滑鼠下滑就能不斷的向下瀏覽,
爬取異步加載的網頁首要任務是找到網頁的正確鏈接,
解決方法附在這里:
https://blog.csdn.net/weixin_46002631/article/details/110956309?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control
參考:
【1】https://blog.csdn.net/weixin_46002631/article/details/110956309?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/282259.html
標籤:其他
上一篇:Java--多執行緒
