前幾天小編連續寫了四篇關于Python選擇器的文章，分別用正則運算式、BeautifulSoup、Xpath、CSS選擇器分別抓取京東網的商品資訊，今天小編來給大家總結一下這四個選擇器，讓大家更加深刻的理解和熟悉Python選擇器，
一、正則運算式
正則運算式為我們提供了抓取資料的快捷方式，雖然該正則運算式更容易適應未來變化，但又存在難以構造、可讀性差的問題，當在爬京東網的時候，正則運算式如下圖所示：
利用正則運算式實作對目標資訊的精準采集
此外 ，我們都知道，網頁時常會產生變更，導致網頁中會發生一些微小的布局變化時，此時也會使得之前寫好的正則運算式無法滿足需求，而且還不太好除錯，當需要匹配的內容有很多的時候，使用正則運算式提取目標資訊會導致程式運行的速度減慢，需要消耗更多記憶體，
二、BeautifulSoup
BeautifulSoup是一個非常流行的 Pyhon 模塊，該模塊可以決議網頁，并提供定位內容的便捷介面，通過'pip install beautifulsoup4'就可以實作該模塊的安裝了，
利用美麗的湯去提取目標資訊
使用 BeautifulSoup的第一步是將己下載的 HTML 內容決議為 soup檔案，由 于大多 數網 頁都不具備良好的HTML 格式，因此BeautifulSoup需要對實際格式進行確定，BeautifulSoup能夠正確決議缺失的引號并閉合標簽，此外還會添加＜html ＞和＜body＞標簽使其成為完整的HTML檔案，通常使用find() 和find_all()方法來定位我們需要的元素，如果你想了解BeautifulSoup全部方法和引數，可以查閱BeautifulSoup的官方檔案，雖然BeautifulSoup在代碼的理解上比正則運算式要復雜一些，但是其更加容易構造和理解，
三、Lxml
Lxml模塊使用 C語言撰寫，其決議速度比 BeautiflSoup更快，而且其安裝程序也更為復雜，在此小編就不贅述啦，XPath 使用路徑運算式在 XML 檔案中選取節點，節點是通過沿著路徑或者 step 來選取的，
Xpath
使用 lxml 模塊的第一步和BeautifulSoup一樣，也是將有可能不合法的HTML 決議為 統一格式， 雖然Lxml可以正確決議屬性兩側缺失的引號，并閉合標簽，不過該模塊沒有額外添加＜html ＞和＜body＞標簽 ，
在線復制Xpath運算式可以很方便的復制Xpath運算式，但是通過該方法得到的Xpath運算式放在程式中一般不能用，而且長的沒法看，所以Xpath運算式一般還是要自己親自上手，
四、CSS
CSS選擇器表示選擇元素所使用 的模式，BeautifulSoup整合了CSS選擇器的語法和自身方便使用API，在網路爬蟲的開發程序中，對于熟悉CSS選擇器語法的人，使用CSS選擇器是個非常方便的方法，
CSS選擇器
下面是一些常用的選擇器示例，
- 選擇所有標簽： ＊
- 選擇＜a＞標 簽： a
- 選擇所有class＝”link” 的元素： .l in k
- 選擇 class＝”link” 的＜a＞標簽： a.link
- 選擇 id= " home ” 的＜a＞標簽： a Jhome
- 選擇父元素為＜a＞標簽的所有＜ span＞子標簽： a > span
- 選擇＜a＞標簽內部的所有＜span＞標簽： a span
- 選擇title屬性為” Home ” 的所有＜a＞標簽： a [title=Home]
五、性能對比
lxml 和正則運算式模塊都是C語言撰寫的，而BeautifulSoup則是純Python 撰寫的，下表總結了每種抓取方法的優缺點，
相對困難需要注意的是，lxml在內部實作中，實際上是將CSS選擇器轉換為等價的Xpath選擇器，
六、總結
如果你的爬蟲瓶頸是下載網頁，而不是抽取資料的話，那么使用較慢的方法（如BeautifulSoup） 也不成問題，如果只需抓取少量資料，并且想要避免額外依賴的話，那么正則運算式可能更加適合，不過，通常情況下，l xml是抓取資料的最好選擇，這是因為該方法既快速又健壯，而正則運算式和BeautifulSoup只在某些特定場景下有用，
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持我們，
此文轉載文，著作權歸作者所有，如有侵權聯系小編洗掉！
原文地址：https://www.tuicool.com/articles/iM3Yjm3
需要了解更多的（點擊一下這里）
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/139687.html
標籤：其他
上一篇：基于Scrapy的互動式漫畫爬蟲