不想誤導,若有錯誤,希望各位不吝指教!!
代理:proxies引數
格式:
1 proxies = { 2 "http": "http://12.34.56.79:9527", 3 "https": "http://12.34.56.79:9527", 4 }
私密代理:
1 # 如果代理需要使用HTTP Basic Auth,可以使用下面這種格式: 2 proxy = { "http": "xx:xx@xx:xx" } 3 proxy = { "http": "mr_mao_hacker:[email protected]:16816" }
拿cookies引數:
原理:
Cookie名字(Name) Cookie的值(Value) Cookie的過期時間(Expires/Max-Age) Cookie作用路徑(Path) Cookie所在域名(Domain), 使用Cookie進行安全連接(Secure), ? 前兩個引數是Cookie應用的必要條件,另外,還包括Cookie大小(Size,不同瀏覽器對Cookie個數及大小限制是有差異的),
格式:
1 # 7\. 回傳CookieJar物件: 2 cookiejar = response.cookies 3 ? 4 # 8\. 將CookieJar轉為字典: 5 cookiedict = requests.utils.dict_from_cookiejar(cookiejar)
session:
1 requests.session() 2 # 4\. 發送附帶用戶名和密碼的請求,并獲取登錄后的Cookie值,保存在ssion里 3 ssion.post("http://www.renren.com/PLogin.do", data =https://www.cnblogs.com/xbhog/p/ data) 4 ? 5 # 5\. ssion包含用戶登錄后的Cookie值,可以直接訪問那些登錄后才可以訪問的頁面 6 response = ssion.get("http://www.renren.com/410043129/profile")
處理HTTPS請求 SSL證書驗證:
如果SSL證書驗證不通過,或者不信任服務器的安全證書,則會報出SSLError
跳過 12306 的證書驗證,把 verify 設定為 False 就可以正常請求了
1 1.r = requests.get("https://www.12306.cn/mormhweb/", verify = False) 2 2. 3 # 1. 匯入Python SSL處理模塊 4 import ssl 5 ? 6 # 2. 表示忽略未經核實的SSL證書認證 7 context = ssl._create_unverified_context() 8 r = requests.get("https://www.12306.cn/mormhweb/", context = context)
隨機/添加獲取User-Agent:
1 #也可以通過呼叫Request.add_header() 添加/修改一個特定的header 2 request.add_header("Connection", "keep-alive") 3 ? 4 ? 5 ua_list = [ 6 "Mozilla/5.0 (Windows NT 6.1; ) Apple.... ", 7 "Mozilla/5.0 (X11; CrOS i686 2268.111.0)... ", 8 "Mozilla/5.0 (Macintosh; U; PPC Mac OS X.... ", 9 "Mozilla/5.0 (Macintosh; Intel Mac OS... " 10 ] 11 ? 12 user_agent = random.choice(ua_list) 13 其他:
1.Handler處理器 和 自定義Opener
2.ProxyHandler處理器(代理設定)
3.cookiejar庫 和 HTTPCookieProcessor處理器
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/137149.html
標籤:Python
下一篇:YAML語法
