最近剛學的一本教材爬取小說網站方法,在網上搜的解決辦法都沒有什么用,還有救嗎
req=urllib.request.Request(url=novel_url,headers=headers)
request=urllib.request.urlopen(req)
html=lxml.html.parse(request)
hrefs=html.xpath('//dd/a/@href')
for href in hrefs[16:]:
chapter_url_list.append(urllib.parse.urljoin(novel_base_url,href))
print(chapter_url_list)轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/163736.html
標籤:搜索引擎技術
