一、XMl簡介

（一）什么是 XML

XML 指可擴展標記語言(EXtensible)
XML 是一種標記語言，很類似 HTML，
XML 的設計宗旨是傳輸資料，而非顯示資料，
XML 的標簽需要我們自行定義，
XML 被設計為具有自我描述性，
XML 是 W3C 的推薦標準，

W3School 官方檔案：http://www.w3school.com.cn/xml/index.asp

（二）XML 和 HTML 的區別

他們兩者都是用于操作資料或者結構資料，在結構上大致相同的，但他們在本質上卻存在著明顯的區別，

資料格式	描述	設計目標
XML	Extensible Markup Language （可擴展標記語言）	被設計為傳輸和存盤資料，其焦點是資料的內容，
HTML	HyperText Markup Language（超文本標記語言）	顯示資料以及如何更好顯示資料，
HTML DOM	Document Object Model for HTML（超文本標檔案物件模型）	通過 HTML DOM，可以訪問所有的 HTML 元素，連同它們所包含的文本和屬性，可以對其中的內容進行修改和洗掉，同時也可以創建新的元素，

（三）XML 的節點關系

<?XML version='1.0' encoding=""utf-8>
<book category="cooking">
	<title lang="en">Harry Potter</title>
	<author>J K.Rowling</author>
	<year>2005</year>
	<price>29.00</price>
</book>

1.父(Parent)

每個元素以及屬性都有一個父，上面是一個簡單的 XML 例子中，book 元素是 title、author、year 以及 price 元素的父

2.子(Children)

元素節點可有零個、一個或多個子元素，在上面的例子中，title、author、year 以及 price 元素都是 book 元素的子元素

3. 同胞(Sibling)

擁有相同的父的節點，在上面的例子中，title、author、year 以及 price 元素都是同胞

4. 先輩(Ancestor)

某節點的父、父的父，等等，在上面的例子中，title 元素的先輩是 book 元素和 bookstore元素

5. 后代(Descendant)

某個節點的子，子的子等等，在上面的例子中，bookstore 的后代是 book、title、author、year 以及 price 元素：

二、XPATH

XPath (XML Path Language) 是一門在 XML 檔案中查找資訊的語言，可用來在 XML 檔案中對元素和屬性進行遍歷，

（一）選取節點

XPath 使用路徑運算式來選取 XML 檔案中的節點或者節點集，這些路徑運算式和我們在常規的電腦檔案系統中看到的運算式非常相似，下面列出了最常用的路徑運算式：

運算式	描述
nodename	選取此節點的所有子節點，
/	從節點選取，
//	從匹配選擇的當前節點選擇檔案中的節點，而不考慮他們的位置，
.	選取當前節點，
..	選取當前節點的父節點，
@	選取屬性，

在下面的表格中，我們已列出了一些路徑運算式以及運算式的結果：

路徑運算式	描述
bookstore	選取 bookstore 元素的所有子節點
/bookstore	選取根元素 bookstore，代表元素的絕對路徑，
bookstore/book	選取屬于 bookstore 的子元素的所有 book 元素，
//book	選取所有 book 子元素，而不管它們在檔案中的位置
bookstore//book	選擇屬于 booksore 元素的后代所有的 book 元素，而不管他們位于 bookstore 之下的什么位置，
//@lang	選取名為 lang 的所有屬性，
text()	取標簽當中的值

（二）謂語(Predicates)

謂語用來查找某個特定的節點或者包含某個指定的值的節點，被嵌在方括號中，在下面的表格中，我們列出了帶有謂語的一些路徑運算式，以及運算式的結果：

路徑運算式	描述
/bookstore/book[l]	選取屬于 bookstore 子元素的第一個 book 元素，
/bookstore/book[last()]	選取屬于 bookstore 子元素的最后一個 book 元素，
/bookstore/book[last()-1]	選取屬于 bookstore 子元素的倒數第二個 book 元素，
/bookstore/book[position()<2]	選最前面的一個屬于 bookstore 元素的子元素的 book 元素，
//title[@lang]	選取所有屬性名為 lang 的屬性的 title 元素，
//titlel@lang=‘eng’]	選取所有 tltle 元素，且這些元素有屬性值為 eng 的 lang 屬性，

（三）選取未知節點

XPath 通配符可用來選取未知的 XML 元素，

通配符	描述
*	匹配任何元素節點，
@*	匹配任何屬性節點，

在下面的表格中，我們列出了一些路徑運算式，以及這些運算式的結果：

路徑運算式	描述
/bookstore/*	選取 bookstore 元素的所有子元素
//*	選取檔案中的所有元素，
//title[@*]	選取所有帶有屬性的 title 元素，

（四）選取若干路徑

通過在路徑運算式中使用“|”運算子，您可以選取若干個路徑，在下面的表格中，我們列出了一些路徑運算式，以及這些運算式的結果：

路徑運算式	描述
//book/title	//book/price
//title	//price
//price	選取檔案中所有的 price 元素，

三、lxml 模塊

（一）lxml 簡介與安裝

lxml 是一個 HTML/XML 的決議器，主要的功能是如何決議和提取 HTML/XML 資料，我們可以利用之前學習的 XPath 語法，來快速的定位特定元素以及節點資訊，
安裝方法:pip install lxml

（二）lxml 初步使用

1、決議HTML字串

XML 素材：http://www.cnblogs.com/zhangboblogs/p/10114698.html
小結：lxml 可以自動修正 html 代碼，例子里不僅補全了 li 標簽，還添加了 body，html 標簽，

2.、lxml 檔案讀取

XML 素材：http://www.cnblogs.com/zhangboblogs/p/10114698.htm
除了直接讀取字串，lxml 還支持從檔案里讀取內容，我們新建一個 hello.html 檔案，再利用 etree.parse()方法來讀取檔案，
注意：從檔案中讀取資料，要求檔案內容符合 xml 格式，如果標簽缺失，則不能正常讀取，

四、XPath 節點資訊決議：

# 安裝lxml: pip install lxml

# 1. 匯入etree: 兩種匯入方式
# 第一種: 直接匯入
from lxml import etree
# 注意: 此種匯入方式,可能會導致報錯(etree下面會出現紅色波浪線,不影響正常使用)

# 第二種: 
# from lxml import html
# etree = html.etree

str = '<bookstore>' \
            '<book>' \
                '<title lang="bng" src="https://www.baidu.com">Harry Potter</title>' \
                '<price>29.99</price>' \
            '</book>' \
            '<book>' \
                '<title class="t1" lang="ang">Learning XML</title>' \
                '<price>39.95</price>' \
            '</book>' \
            '<book>' \
                '<title lang="cng">西游記</title>' \
                '<price>69.95</price>' \
            '</book>' \
            '<book>' \
                '<title lang="dng" src="https://www.jd.com">水滸傳</title>' \
                '<price>29.95</price>' \
            '</book>' \
            '<book>' \
                '<title class="t1" lang="dng" src="https://www.jd.com">三國演義</title>' \
                '<price>29.95</price>' \
            '</book>' \
        '</bookstore>'


# 2. etree.HTML() 將字串轉換成HTML元素物件,可以自動添加缺失的元素
html = etree.HTML(str)  # <Element html at 0x1e17b839708>  是一個el物件
# print(html)


# 3. 方法:
# 3.1 tostring()  查看轉換之后的內容(二進制型別)
# 如果想要查看字串,需要解碼
# 如果想要顯示漢字,需要先編碼,再解碼
# content = etree.tostring(html,encoding='utf-8')
# print(content.decode())


# 3.2 xpath()方法  作用:提取頁面資料,回傳值是一個串列
# xpath的使用一定是建立在etree.HTML()之后的內容中的

# xpath是如何來提取頁面資料的?
# 答:使用的是路徑運算式

# 3.2.1 xpath路徑分為兩種:
# 第一種: /  代表一層層的查找,如果/存在于開頭,代表根路徑
# bookstore = html.xpath('/html/body/bookstore')
# print(bookstore)  # [<Element bookstore at 0x2dd535efb88>]

# 第二種: // 任意路徑  焦點在元素身上
# 例如：查找bookstore標簽
# bookstore = html.xpath('//bookstore')
# print(bookstore)  # [<Element bookstore at 0x1639054fdc8>]

# 第一種和第二種結合
# 例如：查找所有book標簽
# book = html.xpath('//bookstore/book')
# print(book)  # [<Element book at 0x2737fd7fa48>, <Element book at 0x2737fd7fc88>, <Element book at 0x2737fd7fcc8>, <Element book at 0x2737fd7fd08>, <Element book at 0x2737fd7fd88>]

# 3.2.2 /text()  獲取標簽之間的內容
# 例如：獲取所有title標簽的內容
# 步驟：
# 1. 找到所有title標簽
# 2. 獲取內容
# title = html.xpath('//book/title/text()')
# print(title)  # ['Harry Potter', 'Learning XML', '西游記', '水滸傳', '三國演義']

# 3.3 位于  使用[]  可以理解成條件
# 3.3.1 [n] 代表獲取第n個元素,n是數字,n<=1
# 例如: 獲取第二個title標簽
# title = html.xpath('//book[2]/title/text()')
# title1 = html.xpath('//title[2]/text()')
# print(title)  # ['Learning XML']
# print(title1)  # []

# last()  獲取最后一個
# 同理: last()-1  獲取倒數第二個
# 例如: 獲取最后一本書的title標簽之間的內容
# title = html.xpath('//book[last()]/title/text()')
# title1 = html.xpath('//book[last()-1]/title/text()')
# print(title)  # ['三國演義']
# print(title1)  # ['水滸傳']

# 3.3.2 position()  位置,范圍  支持 > / < / = / >= / <= / !=
# 例如: 獲取最后兩本書的title標簽之間的內容
# 步驟:
# 1. 先獲取后兩本書
# 2. 獲取內容
# title = html.xpath('//book[position()>3]/title/text()')
# print(title)  # ['水滸傳', '三國演義']
# ? title = html.xpath('//book[position()>last()-2]/title/text()')
# print(title)  # ['水滸傳', '三國演義']

# 3.3.3 獲取屬性值:@屬性名

# 例如: 獲取lang屬性值為cng的title標簽的內容
# title = html.xpath('//book/title[@lang="cng"]/text()')
# print(title)  # ['西游記']

# 例如: 獲取包含src屬性得title標簽的內容
# title = html.xpath('//book/title[@src]/text()')
# print(title)  # ['Harry Potter', '水滸傳', '三國演義']

# 例如: 獲取包含屬性的title標簽的內容
# title = html.xpath('//book/title[@*]/text()')
# print(title)  # ['Harry Potter', 'Learning XML', '西游記', '水滸傳', '三國演義']

# 例如: 獲取最后一個title標簽的src屬性的值
# title = html.xpath('//book[last()]/title/@src')
# print(title)  # ['https://www.jd.com']

# 例如: 獲取所有包含src屬性的標簽之間的內容
# node = html.xpath('//*[@src]/text()')
# print(node)  # ['Harry Potter', '水滸傳', '三國演義']


# 3.4 and  與  連接的是謂語(條件)
# 例如: 獲取lang="dng"并且class="t1"的title標簽的內容
# title = html.xpath('//book/title[@lang="dng" and @class="t1"]/text()')
# title1 = html.xpath('//book/title[@lang="dng"][@class="t1"]/text()')
# print(title)  # ['三國演義']
# print(title1)  # ['三國演義']


# 3.5 or  或  連接謂語
# 例如: 查找lang="cng"或者lang="bng"的title標簽的內容
# title = html.xpath('//book/title[@lang="cng" or @lang="bng"]/text()')
# print(title)  # ['Harry Potter', '西游記']


# 3.6 |  連接路徑
# 例如: 獲取所有title標簽和price標簽之間的內容
# title = html.xpath('//title/text() | //price/text()')
# print(title)  # ['Harry Potter', '29.99', 'Learning XML', '39.95', '西游記', '69.95', '水滸傳', '29.95', '三國演義', '29.95']


# 3.8 parse()  作用:從檔案中讀取資料
# 注意: 讀取的檔案,必須滿足xml格式**(不存在單標簽,全部都是上標簽)**
content = etree.parse('test.html')
# print(content)  # <lxml.etree._ElementTree object at 0x000001DC5CF5ED08>
res = etree.tostring(content,encoding='utf-8')
print(res.decode())  
<!DOCTYPE html>
<html lang="en">
<head>
    <title>test</title>
</head>
<body>
    <h1>
        這是一個html
    </h1>
</body>
</html>

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/227542.html

標籤：python

上一篇：10.回圈陳述句

下一篇：我要偷偷的學Python，然后驚呆所有人（第十五天）

python-Xpath語法