前幾天在批量測驗漏洞，前提是需要有大量的url（例如教育網站的url），但是用了網上一些開源的爬蟲后，都不是很理想，有的還需要自己二次開發，
所以趁著周末，就使用python的pyQT5插件開發一款可視化爬蟲軟體
- 目標地址：fofa搜索（主要是頁面干凈，好用，一次能搜索上萬條資料）
- 防止反爬：
- user-agent：設定指定user-agent頭或者隨機頭
- ip地址：
- x-forwarded-for：簡單的頭ip地址
- 代理池：牛批的隨機更換ip地址（可以支持快代理）
- referer：開啟同源策略（雖然這個并無卵用，后期準備做批量掃描）
- 保存/加載組態檔（方便操作）
- cookie：很重要，要是想爬上萬條資料，會員cookie必須得整一個
- 頁數：內定每頁20，輸入10，意味著爬取200條
界面如圖所示：
麻雀雖小五臟俱全
例如：搜索“edu.cn"
會在當前檔案夾內生成edu_ip.txt , edu_url.txt
資料量和穩定性十分可觀！
生成的txt檔案，可以用于多種用途
軟體以打包成exe，可以直接運行
附上下載鏈接
鏈接：https://pan.baidu.com/s/1sZTLcXk8Fj7vAe9mr9R5iA
提取碼：caso
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/357025.html
標籤：其他
上一篇：最新系統漏洞--Fortinet FortiMail作業系統命令注入漏洞
下一篇：[HTB]Nunchucks