大家好,我是一個做網站編輯的,想用爬蟲一次爬取600篇跟某個關鍵詞有關的文章,來源可以是網站/微信公眾號/自媒體,該怎么編程呢?
想跟大家切磋切磋,希望大家給我一個寫代碼的方向,或者私聊留下微信,合適會有一定報酬。
uj5u.com熱心網友回復:
還有一個問題是我做公眾號,希望每天找到10來篇相關的熱點文,也希望用爬蟲搞定!不知道從何下手!uj5u.com熱心網友回復:
webdriver或者requests或者scrapy把要找的網址都記錄下來,存到一個txt檔案
關鍵詞存到一個txt檔案
流程:
1.讀取地址
2.輸入關鍵詞
3.獲取文章地址
4.遍歷文章地址
5.下載檔案到指定位置
根據電腦性能選擇是否開啟多執行緒或者多行程
根據作業需要設定定期運行
over
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/101002.html
