我試圖從r變數中的相應url中提取書名,但無法得到任何回報。我不確定我應該使用哪個標簽,但 "a "標簽或 "span "標簽都沒有發揮作用。以下是代碼
from bs4 import BeautifulSoup
import requests
#https://www.datacamp.com/community/tutorials/amazon-web-scraping-using-beautifulsoup
no_pages = 2
def get_data(pageNo)。
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Firefox/66. 0", "Accept-Encoding":"gzip, deflate", "Accept":"text/html, application/xhtml xml, application/xml; q=0. 9,*/*;q=0. 8", "DNT":"1", "Connection": "close", "Upgrade-Insecure-Requests":"1"} 。
r = requests.get('https://www.amazon.com/s?k=science fiction adventure&i=digital-text&ref=nb_sb_noss_1' str(pageNo) ' ? ie=UTF8&pg=' str(pageNo), headers=headers)#, proxies=proxies)
content = r.content
soup = BeautifulSoup(content)
#print(soup)
for a in soup.select("a.a-link-normal.a-text-normal"):
print(a.get_text())
uj5u.com熱心網友回復:
實際上,這似乎是一個例外,是不正確的元素選擇。
代碼:
from bs4 import BeautifulSoup
import requests
import pandas as pd
headers = {
"User-Agent"。"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36"/span>,
"Accept-Encoding": "gzip, deflate, br",
"接受": "text/html,application/xhtml xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9"/span>。
"DNT"。"1",
"連接": "close",
"Upgrade-Insecure-Requests": "1"。
}
for page in range(1, 5)。
cookies = {'session': '134-8225175-0355220'}
r = requests.get("https://www.amazon.com/s?k=science fiction adventure&i=digital-text&page={page}&qid=1632193003&ref=sr_pg_2"/span>.format(
page=page
),
headers=頭檔案。
cookies=cookies
)
soup = BeautifulSoup(r.content, "lxml"/span>)
for d in soup.select("span.a-size-medium.a-color-base.a-text-normal") 。
print(d.text)
輸出:
Backyard Starship
瓦爾基里的女兒(月球自由國度第三冊
地球日出--超級盒裝(第1-6冊)。一個史詩般的科幻冒險
地球日出--超級盒裝(第1-6冊)。一個史詩般的科幻冒險
飛越國的文藝復興與重啟
年度最佳科幻小說第五卷:第五卷
紅色賞金(后院星艦第二冊
巫師的呼喚--霜燒。一部Litrpg冒險小說
憤怒的人
零日威脅。一個太空歌劇的冒險(《無法控制的書》1)。
壞公司。一個軍事太空歌劇冒險
未來(死亡的女仆第四冊
被審判。一個黑暗的科幻愛情故事
法師司令(《星船》的法師書11)。
你的潛意識的力量
堅韌(《散落的星星:信念》一書4)。
幅度。軍事科幻小說驚悚片(多元宇宙空間第一冊
黑沙男爵(波紋系統書2)
空間的真空。滑稽的科幻之謎(太空清潔工書1)
一個新的家(高鶚編年史書3)。
激烈的。一部科幻式外星浪漫小說(《流氓外星勇士》第1冊1)。
南希和娜迦:科幻外星戀情(外星綁架書14)。
龍的伴侶。一部科幻浪漫小說
沙丘。卡拉丹的女人(卡拉丹三部曲第二冊
毗濕奴:史蒂芬-戈登系列第11冊
僵尸啟示錄。我可以升級:末世文學RPG史詩傳奇幻想系統第一冊
血、油和愛(聯合行動第二冊
外星人獵人的俘虜。一個科幻的外星人浪漫故事(Scovein Mates書3)。
黑暗王子的獎賞(Curizan Warrior第二冊
煉獄的海岸(炮兵書1)
絨毛。當自然界違反法律的時候
獸人征服者。一部Litrpg冒險片
當悲傷來臨的時候:十月代的小說
地球升起-超級盒套裝(書1-6)。一個史詩般的科幻冒險
影子的隕落。新白沙城賽博朋克第一冊
阿穆爾河。在俄羅斯和中國之間
奔跑的黑色(黑色編年史第3冊
麗格夫人(《服役魔法系列》第3冊
實際的星。小說
飛行之歌》(戰士吟游詩人第3冊
進入史前時代(《史前時代的西部》第2冊)。
想象力的火花。力量之源》第一冊
尋覓者。史詩般的奇幻科幻冒險(Farseeker小說)。
卡斯卡迪亞的墮落:完整三部曲
蛇的守護者。外星人第一次接觸的浪漫故事(聯邦的守護者書1)。
怪物女孩防御部隊。骷髏頭和石頭
最后的畢業生。小說 (The Scholomance Book 2)
冬日之光(綠色騎士書7)。
流氓行動(《魔法流氓特工》第1冊1)。
打撈母親(《聯盟》一書10)。
地球升起 - 超級盒子套裝(書1-6)。一個史詩般的科幻冒險
被遺忘的天空。一部奇幻太空歌劇
入侵(權力之塔書6)。
布朗神父謀殺案全集》。布朗神父的清白》、《布朗神父的智慧》、《唐寧頓事件》。
致命的救援。末世大流行的生存驚悚小說(逃離病毒之書3)
地獄潛水員八:荒野之王(地獄潛水員系列叢書8)。
拋開--第一冊--"在一個墮落的世界"。
瑪麗和牛頭人:一個科幻的外星人浪漫故事(外星人綁架書13)
困擾與被詛咒者(Hollows Book 16)。
無人機騎士。半機械化人工智能科幻小說
重生。Apocalypse (Volume 3) (Re-Release): (LitRPG/Wuxia故事)
公主為外星人指揮官。科幻外星人的浪漫故事(外星人招募機構書3)。
Shadowcroft地下城學院。第二年
他和與怪物戰斗3。一個LitRPG冒險
H. P. Lovecraft: 小說全集
偉大的巨魔戰爭(最后的屠龍者編年史)。
混沌季:辛迪加之路(《混沌季》,第5冊)。
地球之光-超級盒套裝(書1-6)。一個史詩般的科幻冒險
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/331284.html
標籤:
