python爬蟲實戰:垃圾佬閑魚爬蟲、轉轉爬蟲資料整合自用二手急速回應撿垃圾平臺(附原始碼持續更新)-1
前言
本系列文章只做自用，具體功能實作未考慮所有情況，只做拋磚引玉之用，如有無法正常使用，請依據原始碼配合文章講解自行修改，
涉及技術 python爬蟲實戰 python爬蟲最佳實踐 Android爬蟲 Android自動化
需求
做一個光速撿垃圾的回應平臺，后期可以做出自動下單等功能，
- 1.無需盯住自動提示
- 2.設定價格品類 智能推送
- 3.回應時間不超過30s
二手平臺選擇調研
平臺選擇
集中來看 二手市場中品類多 用戶多的只有閑魚 轉轉 還有 愛回收 算是比較大的，其他的要么用戶量太少 要么平臺太單一沒有收集價值，
平臺選擇 閑魚 轉轉
資料來源就是 閑魚爬蟲資料采集 轉轉爬蟲資料采集了
資料來源
資料來源 主要來自兩大平臺的 網頁/app/微信小程式
其中閑魚網頁和小程式都沒有 只有app
其中轉轉 有小程式 也有app
- 爬取閑魚資料來源:閑魚app
- 爬取轉轉資料來源:轉轉app 轉轉小程式
有了爬取閑魚 爬取轉轉的資料后，后面的事情就簡單了，無論我們是直接推送還是保存瀏覽，甚至做出一個閑魚網頁版入口，轉轉網頁版入口，閑魚pc版入口，轉轉pc版入口都行，
技術架構與選型
流程圖
先來張粗略的流程圖
技術選項
編程語言python 做爬蟲部分
編程語言python 做邏輯判斷部分
資料儲存 初期使用sqlite即可
編程語言python 做訊息推送
最終實作效果
總結
整個架構算是搭起來了，后面就是進入實戰部分，
關于這部分我要把代碼整理了，如果有需要的可以先點贊關注我，
我會把整個代碼流程放出來一起探討接下來的可能性，如果沒人感興趣那就算了，
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/240040.html
標籤：其他
上一篇：什么是微服務，什么是分布式