Python爬蟲之xpath語法及案例使用
---- 鋼鐵俠的知識庫 2022.08.15
我們在寫Python爬蟲時，經常需要對網頁提取資訊，如果用傳統正則表達去寫會增加很多作業量，此時需要一種對資料決議的方法，也就是本章要介紹的Xpath運算式，
Xpath是什么
XPath，全稱 XML Path Language，即 XML 路徑語言，它是一門在 XML 檔案中查找資訊的語言，最初是用來搜尋 XML 檔案的，但同樣適用于 HTML 檔案的搜索，所以在做爬蟲時完全可以使用 XPath 做相應的資訊抽取，
XPath 的選擇功能十分強大，它提供了非常簡潔明了的路徑選擇運算式，另外，它還提供超過 100 個內置函式，用于字串、數值、時間的匹配以及節點、序列的處理等，幾乎所有想要定位的節點都可以用 XPath 來選取，
下面介紹實戰中常用的幾個知識點，詳細也可以看W3C介紹：https://www.w3school.com.cn/xpath/index.asp
Xpath語法介紹
路徑常用規則
| 運算式 | 描述 | 實體 | |
|---|---|---|---|
| nodename | 選取此節點的所有子節點 | xpath('//div') | 選取了div節點的所有子節點 |
| / | 從根節點選取 | xpath('/div') | 從根節點上選取div節點 |
| // | 選取所有當前節點，不考慮位置 | xpath('//div') | 選取所有的div節點 |
| . | 選取當前節點 | xpath('./div') | 選取當前節點下的div節點 |
| .. | 選取當前節點的父節點 | xpath('..') | 回到上一個節點 |
| @ | 選取屬性 | xpath（'//@calss'） | 選取所有的class屬性 |
謂語規則
謂語被嵌在方括號內，用來查找某個特定的節點或包含某個制定的值的節點
| 運算式 | 結果 |
|---|---|
| xpath('/body/div[1]') | 選取body下的第一個div節點 |
| xpath('/body/div[last()]') | 選取body下最后一個div節點 |
| xpath('/body/div[last()-1]') | 選取body下倒數第二個div節點 |
| xpath('/body/div[positon()??]') | 選取body下前兩個div節點 |
| xpath('/body/div[@class]') | 選取body下帶有class屬性的div節點 |
| xpath('/body/div[@]') | 選取body下class屬性為main的div節點 |
| xpath('/body/div[price>35.00]') | 選取body下price元素值大于35的div節點 |
通配符
通配符來選取未知的XML元素
| 運算式 | 結果 |
|---|---|
| xpath（'/div/*'） | 選取div下的所有子節點 |
| xpath('/div[@*]') | 選取所有帶屬性的div節點 |
取多個路徑
使用“|”運算子可以選取多個路徑
| 運算式 | 結果 |
|---|---|
| xpath('//div|//table') | 選取所有的div和table節點 |
功能函式
使用功能函式能夠更好的進行模糊搜索
| 函式 | 用法 | 解釋 |
|---|---|---|
| starts-with | xpath('//div[starts-with(@id,"ma")]') | 選取id值以ma開頭的div節點 |
| contains | xpath('//div[contains(@id,"ma")]') | 選取id值包含ma的div節點 |
| and | xpath('//div[contains(@id,"ma") and contains(@id,"in")]') | 選取id值包含ma和in的div節點 |
| text() | xpath('//div[contains(text(),"ma")]') | 選取節點文本包含ma的div節點 |
語法熟悉
下面舉一段HTML文本進行語法熱身，代碼如下
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# time: 2022/8/8 0:05
# author: gangtie
# email: [email protected]
from lxml import etree
text = '''
<div>
<ul id='ultest'>
<li ><a href="https://www.cnblogs.com/jiba/archive/2022/08/15/link1.html">first item</a></li>
<li ><a href="https://www.cnblogs.com/jiba/archive/2022/08/15/link2.html">second item</a></li>
<li ><a href="https://www.cnblogs.com/jiba/archive/2022/08/15/link3.html">third item</a></li>
<li ><a href="https://www.cnblogs.com/jiba/archive/2022/08/15/link4.html"><span>fourth item</span></a></li>
<li ><a href="https://www.cnblogs.com/jiba/archive/2022/08/15/link5.html">fifth item</a>
</ul>
</div>
'''
# 呼叫HTML類進行初始化，這樣就成功構造了一個XPath決議物件，
# 利用etree.HTML決議字串
page = etree.HTML(text)
print(type(page))
可以看到列印結果已經變成XML元素：
<class 'lxml.etree._Element'>
字串轉換HTML
字串利用etree.HTML決議成html格式：
print(etree.tostring(page,encoding='utf-8').decode('utf-8'))
```
<html><body><div>
<ul id="ultest">
<li ><a href="https://www.cnblogs.com/jiba/archive/2022/08/15/link1.html">first item</a></li>
<li ><a href="https://www.cnblogs.com/jiba/archive/2022/08/15/link2.html">second item</a></li>
<li ><a href="https://www.cnblogs.com/jiba/archive/2022/08/15/link3.html">third item</a></li>
<li ><a href="https://www.cnblogs.com/jiba/archive/2022/08/15/link4.html"><span>fourth item</span></a></li>
<li ><a href="https://www.cnblogs.com/jiba/archive/2022/08/15/link5.html">fifth item</a>
</li></ul>
</div>
</body></html>
Process finished with exit code 0
```
經過處理可以看到缺失的</li>也自動補全了，還自動添加html、body節點，
查找絕對路徑
通過絕對路徑獲取a標簽的所有內容
a = page.xpath("/html/body/div/ul/li/a")
for i in a:
print(i.text)
```
first item
second item
third item
None
fifth item
```
查找相對路徑(常用)
查找所有li標簽下的a標簽內容
html = etree.HTML(text)
a = html.xpath("//a/text()")
print(a)
```
['first item', 'second item', 'third item', 'fifth item']
```
當前標簽節點
. 表示選取當前標簽的節點，
我們先定位 ul 元素節點得到一個串列，列印當前節點串列得到第一個 ul，
接著列印 ul 節點的子節點 li，text()輸出，
page = etree.HTML(text)
ul = page.xpath("//ul")
print(ul)
print(ul[0].xpath("."))
print(ul[0].xpath("./li"))
print(ul[0].xpath("./li/a/text()"))
```
[<Element ul at 0x234d16186c0>]
[<Element ul at 0x234d16186c0>]
[<Element li at 0x234d1618ac0>, <Element li at 0x234d1618b00>, <Element li at 0x234d1618b40>, <Element li at 0x234d1618b80>, <Element li at 0x234d1618bc0>]
['first item', 'second item', 'third item', 'fifth item']
```
父節點
.. 表示選取當前標簽的父節點，
可以看到得到ul的上一級div
page = etree.HTML(text)
ul = page.xpath("//ul")
print(ul[0].xpath("."))
print(ul[0].xpath(".."))
```
[<Element ul at 0x1d6d5cd8540>]
[<Element div at 0x1d6d5cd8940>]
```
屬性匹配
匹配時可以用@符號進行屬性過濾
查找a標簽下屬性href值為link2.html的內容
html = etree.HTML(text)
a = html.xpath("//a[@href='https://www.cnblogs.com/jiba/archive/2022/08/15/link2.html']/text()")
print(a)
```
['second item']
```
函式
last()：查找最后一個li標簽里的a標簽的href屬性
html = etree.HTML(text)
a = html.xpath("//li[last()]/a/text()")
print(a)
```
['fifth item']
```
contains：查找a標簽中屬性href包含link的節點，并文本輸出
html = etree.HTML(text)
a = html.xpath("//a[contains(@href, 'link')]/text()")
print(a)
```
['first item', 'second item', 'third item', 'fifth item']
```
實戰案例
上面說完基本用法，接下來做幾個實戰案例練練手，
案例一：豆瓣讀書
# -*-coding:utf8 -*-
# 1.請求并提取需要的欄位
# 2.保存需要的資料
import requests
from lxml import etree
class DoubanBook():
def __init__(self):
self.base_url = 'https://book.douban.com/chart?subcat=all&icn=index-topchart-popular'
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/104.0.0.0 Safari/537.36'
}
# 請求并提取需要的欄位
def crawl(self):
res = requests.get(self.base_url, headers=self.headers)
lis = etree.HTML(res.text).xpath('//*[@id="content"]/div/div[1]/ul/li')
# print(type(lis))
books = []
for li in lis:
# print(etree.tostring(li,encoding='utf-8').decode('utf-8'))
# print("==================================================")
title = "".join(li.xpath(".//a[@class='fleft']/text()"))
score = "".join(li.xpath(".//p[@class='clearfix w250']/span[2]/text()"))
# list輸出帶有['\n 劉瑜 / 2022-4 / 廣西師范大學出版社 / 82.00元 / 精裝\n ']
publishing = "".join(li.xpath(".//p[@class='subject-abstract color-gray']/text()")).strip()
book = {
'title': title,
'score': score,
'publishing': publishing,
}
books.append(book)
self.save_data(books)
def save_data(self, datas):
with open('books.txt', 'w', encoding='utf-8') as f:
f.write(str(datas))
def run(self):
self.crawl()
if __name__ == '__main__':
DoubanBook().run()
案例二：彼岸圖片下載
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# author: 鋼鐵知識庫
# email: [email protected]
import os
import requests
from lxml import etree
# 彼岸圖片下載
class BiAn():
def __init__(self):
self.url = 'https://pic.netbian.com'
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/104.0.0.0 Safari/537.36',
'cookie': '__yjs_duid=1_cb922eedbda97280755010e53b2caca41659183144320; Hm_lvt_c59f2e992a863c2744e1ba985abaea6c=1649863747,1660203266; zkhanecookieclassrecord=%2C23%2C54%2C55%2C66%2C60%2C; Hm_lpvt_c59f2e992a863c2744e1ba985abaea6c=1660207771; yjs_js_security_passport=1225f36e8501b4d95592e5e7d5202f4081149e51_1630209607_js'
}
# 如果目錄不存在會報錯
if not os.path.exists('BianPicture'):
os.mkdir('BianPicture')
# 請求拿到ul串列
def crawl(self):
res = requests.get(self.url, headers=self.headers)
res.encoding = 'gbk'
uls = etree.HTML(res.text).xpath('//div[@]/ul[@]/li')
# print(etree.tostring(uls,encoding='gbk').decode('gbk'))
# 回圈拿到圖片名、圖片地址，拼接請求再次下載到圖片
for ul in uls:
img_name = ul.xpath('.//a/b/text()')[0]
img_src = https://www.cnblogs.com/jiba/archive/2022/08/15/ul.xpath('.//a/span/img/@src')[0]
# print(img_name + img_src)
img_url = self.url + img_src
# 拼接后下載圖片，轉義Bytes
img_res = requests.get(img_url, headers=self.headers).content
img_path = "BianPicture/" + img_name + ".jpg"
data = https://www.cnblogs.com/jiba/archive/2022/08/15/{'img_res': img_res,
'img_path': img_path
}
self.save_data(data)
# 資料保存邏輯
def save_data(self, data):
with open(data['img_path'], 'wb') as f:
f.write(data['img_res'])
# print(data)
def run(self):
self.crawl()
if __name__ == '__main__':
BiAn().run()
案例三：全國城市名稱爬取
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# author: 鋼鐵知識庫
# email: [email protected]
import os
import requests
from lxml import etree
class CityName():
def __init__(self):
self.url = 'https://www.aqistudy.cn/historydata/'
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36'
}
# 判斷目錄是否存在
if not os.path.exists('city_project'):
os.mkdir('city_project')
def crawl(self):
res = requests.get(url=self.url, headers=self.headers).text
uls = etree.HTML(res).xpath('//div[@]/div[2]/ul/div[2]/li')
all_city_name = list()
for ul in uls:
city_name = ul.xpath('.//a/text()')[0]
# print(type(city_name))
all_city_name.append(city_name)
self.save_data(all_city_name)
def save_data(self, data):
with open('./city_project/city.txt', 'w') as f:
f.write(str(data))
def run(self):
self.crawl()
if __name__ == '__main__':
CityName().run()
xpath使用工具
chrome生成XPath運算式
經常使用chome的朋友都應該知道這功能，在 審查 狀態下(快捷鍵ctrl+shift+i，F12)，定位到元素(快捷鍵ctrl+shift+c) ，在Elements選項卡中，右鍵元素 Copy->Copy xpath，就能得到該元素的xpath了
Xpath Helper插件
為chome裝上XPath Helper就可以很輕松的檢驗自己的xpath是否正確了，安裝插件需要特別上網，安裝好插件后，在chrome右上角點插件的圖示，調出插件的黑色界面，編輯好xpath運算式，運算式選中的元素被標記為黃色
---- 鋼鐵俠的知識庫 2022.08.15
結語：
以上就是利用XPath的所有用法，從常用語法，到案例練習都走了一遍，下一章 鋼鐵知識庫 會繼續介紹另一種好用的決議框架，Beautiful Soup，覺得有用點贊加關注，就當你送了紅包666
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/501900.html
標籤：其他
上一篇：python教程：一個 list 使用 for 遍歷，邊回圈邊洗掉的問題
下一篇：Golang實作set