我對.select 有疑問，它在練習網頁抓取時總是回傳一個空串列。我正在以下頁面上作業：https ://presse.ania.net/news/?page=1使用 BeautifulSoup。
我正在獲取并決議 HTML，如下所示：
url = f"https://presse.ania.net/news/?page=1"
headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.64 Safari/537.36'
mr = requests.get(url, headers = headers)
soupmp = bs(mr.content, "lxml")
我嘗試檢索頁面上顯示的每篇文章的 url，在“title row-space-1”類下（我使用 chrome 的開發人員工具來查找類，像其他帖子中建議的那樣禁用 JavaScript），并將它們放在一個串列中稱為“新聞”
news = []
for link in soupmp.select("a.title.row-space-1[href]"):
news.append(link.get('href'))
但是，當我列印“新聞”時，我總是有一個空串列
[]
在 Stackoverflow 上搜索我試過：
- 在網站上禁用 JavaScript
- 添加時間睡眠以讓頁面下載
- 使用 .find_all，. find 和 .select，首先嘗試使用 CSS 選擇器，然后嘗試使用 kwargs（都回傳空串列或 NoneType 物件）。
這些都不起作用，我堅持自己的錯誤。我認為在我理解這個 HTML 和使用 CSS 選擇類的方式上有一些特定的東西，但我找不到什么（部分原因是我之前成功地將此代碼用于其他網站。）。
你能告訴我我缺少什么嗎？
我感謝您的幫助！
uj5u.com熱心網友回復：
嘗試這個：
import requests
from bs4 import BeautifulSoup
css = ".card.item.thumbnail.card-topic .title a"
url = "https://presse.ania.net/news/?page=1"
headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.64 Safari/537.36'}
soup = [
f'https://presse.ania.net{a["href"]}' for a in
BeautifulSoup(requests.get(url, headers=headers).content, "lxml").select(css)
]
print("\n".join(soup))
輸出：
https://presse.ania.net/actualites/cp-ania-reaction-suite-a-lannonce-de-la-composition-du-nouveau-gouvernement-delisabeth-borne-lania-salue-la-double-reconnaissance-de-la-souverainete-industrielle-et-alimentaire-au-coeur-du-gouvernement-5c05-53c7f.html
https://presse.ania.net/actualites/cp-ania-nomination-de-marie-buisson-au-poste-de-directrice-juridique-7a6b-53c7f.html
https://presse.ania.net/actualites/cp-ania-lca-renegociations-commerciales-la-filiere-agroalimentaire-inquiete-bfe7-53c7f.html
https://presse.ania.net/actualites/cp-ania-lca-guerre-en-ukraine-et-derogations-detiquetage-eviter-les-ruptures-tout-en-garantissant-la-securite-sanitaire-et-la-transparence-de-linformation-aux-consommateurs-9824-53c7f.html
https://presse.ania.net/actualites/cp-ania-il-est-urgent-de-re-ouvrir-les-negociations-commerciales-c4d4-53c7f.html
https://presse.ania.net/actualites/cp-ania-lca-reunion-interministerielle-sur-la-guerre-en-ukraine-appel-du-secteur-alimentaire-pour-des-mesures-durgence-abb3-53c7f.html
https://presse.ania.net/actualites/cp-ania-lca-signature-de-lavenant-au-contrat-strategique-de-la-filiere-agroalimentaire-2022-2023-138f-53c7f.html
https://presse.ania.net/actualites/ania-note-de-conjoncture-economique-une-rentree-2022-sous-tensions-216b-53c7f.html
https://presse.ania.net/actualites/cp-ania-presidentielles-2022-le-grand-oral-de-lagroalimentaire-lalimentation-est-laffaire-de-tous-les-francais-lindustrie-alimentaire-a-la-rencontre-des-candidats-a-la-presidentielle-fe01-53c7f.html
https://presse.ania.net/actualites/cp-ania-negociations-commerciales-avec-la-grande-distribution-j-5-le-compte-ny-est-toujours-pas-au-risque-de-lasphyxie-collective-de-toute-la-filiere-830b-53c7f.html
https://presse.ania.net/actualites/cp-ania-lania-engagee-pour-leducation-et-la-promotion-des-comportements-favorables-a-la-sante-et-a-la-planete-fa16-53c7f.html
https://presse.ania.net/actualites/cp-ania-varenne-de-leau-lania-salue-les-engagements-pris-par-letat-et-rappelle-la-mobilisation-des-entreprises-5ae0-53c7f.html
uj5u.com熱心網友回復：
你可以試試這個并插入想要的元素的類。我希望這對你有一點幫助。
soup = BeautifulSoup(html_source, 'html.parser')
# Find element by class which have href attr
el = soup.find(class_='1', href=True)
# Print href value
print(el['href'])
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/486885.html
上一篇：使用python從GitHub爬取和下載Readme.md檔案
下一篇：（劇作家異步）如何修復：'AttributeError：'coroutine'物件沒有屬性'inner_text''