目錄
1.selenium的等待與打包常見錯誤
2.呼叫print中的內容和比較資料
3.企業微信群發與webhook引數配置
4.總結
1.selenium的等待與打包常見錯誤
在爬一些介面加密的動態資料時,有時候的需求就是那么一兩個時效性的資料,費勁心思解密整理顯得有些笨拙,做無頭瀏覽拿出資料在有些時候也是非常實用的手段,這里分享一些自己經歷過的問題和大家分享,
顯性等待和隱形等待是最為常見的等待手段,隱性等待頁面完全加載,顯性檢查元素加載是否完成,個人習慣的顯性的書寫格式:
wait = WebDriverWait(web, 30, 2)
wait.until(EC.presence_of_element_located((By.XPATH, '**')))
wait.until(EC.presence_of_element_located((By.XPATH, '**')))
text = web.find_element_by_xpath('**').text
time = web.find_element_by_xpath('**').text
使用xpath或者id定位都可,以每2s做一次檢測,30s沒到拋出例外,拿到想要的文本或者其他內容,
遇到的證書問題,監測問題,等一些稀奇古怪卻又不時出現的問題,可以試一試我的引數配置,
opt = Options()
opt.add_argument("--headless")
opt.add_argument("--disable-gpu")
opt.add_argument('--ignore-certificate-errors')
opt.add_argument('-ignore -ssl-errors')
opt.add_experimental_option('excludeSwitches', ['enable - logging'])
web = Chrome(options=opt, executable_path='**') # 路徑下是chrome的驅動位置
web.get('**')
用pyinstaller打包時出現的問題大多數都是引數配置型別,還有 出現C:\Program‘ 不是內部或外部命令 的這個問題,可以寫成下面這個形式(和 Program Files (x86) 掛鉤的都先加個引號準沒錯),推薦用-D打包,很好用,(具體的引數講解見文末)
os.system(r'C:/"Program Files (x86)"/Google/Chrome/Application/chromedriver.exe')
pyinstaller -D xxx.py
2.呼叫print中的內容和比較資料
當我們遇到回圈時出來的小資料差錯,有時候需要print里的內容,可以將其加入檔案后再用引數調取,(也就是將print的內容保存到檔案)
print(y, end='', file=f)
而當我們遇到一些類似新聞等資料時帶有時間和文本的,可以回傳兩個值,x = getContent() x[0]用于輸出 x[1] 與上一條資料比較重復,這樣在大作業量采用并發編程時,可以避免太多變數混淆,
3.企業微信群發與webhook引數配置
將新聞播報、天氣預報等時效性的資料,想在手機群里就能天天實時獲取,可以用企業微信自帶的介面進行接入,或者用一些自動化的庫實作群發,這里簡單講一下企業微信內部群webhook的實用性,

添加后復制webhook引數 :

配置到pycharm中
url = '**' # 機器人的webhook地址
headers = {'Content-type': 'application/json'}
data = {
"msgtype": "text",
"text": {
"content": x, # x為要發送的文字
"mentioned_list": ["@all"] # 可指定人
} # 更多用途可查詢企業微信官方
}
resp = requests.post(url, headers=headers, json=data)
print(datetime.now().strftime("%Y-%m-%d %H:%M:%S"),resp.text)
resp.close()
可以群發的不止文本,還有圖片、圖文、指定任務,發送時間、頻率等都可以通過post請求將data資料傳入實作,
針對外部群沒有介面的情況,可以使用其他庫利用演算法運算(感興趣可以私信我一起交流 )
4.總結
在途中的自己真正碰到了一些問題,想到了一些小技巧,也許無意中的小錯誤就會讓我苦想好幾天,希望自己可以在你們的編程路上發揮錦薄之力,
歡迎看到這篇的大家提出寶貴意見,一起交流學習,

Python(七)并發編程-實踐1 (行程,執行緒,協程)
企業微信機器人—入手
pyinstaller引數介紹以及總結
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/305691.html
標籤:python
