我正在研究一個 webscrape 代碼,他作業正常,現在我想用一個包含數千個 url 的 CSV 檔案替換 url,就像這樣:
url1
url2
url3
.
.
.urlX
我的第一行網路抓取代碼是基本的:
from bs4 import BeautifulSoup
import requests
from csv import writer
url= "HERE THE URL FROM EACH LINE OF THE CSV FILE"
page = requests.get(url)
soup = BeautifulSoup(page.content, 'html.parser')
我該怎么做才能告訴 python,使用 CSV 中的 url,我想做一個 dico,但我不太知道我該怎么做,有人有解決方案嗎?我知道這對你來說很簡單,但對我來說非常有用。
uj5u.com熱心網友回復:
如果這只是一個 url 串列,那么您實際上并不需要該csv模塊。但這是假設 url 在檔案的第 0 列中的解決方案。您需要一個 csv讀取器,而不是寫入器,然后是迭代行并采取操作的簡單情況。
from bs4 import BeautifulSoup
import requests
import csv
with open("url-collection.csv", newline="") as fileobj:
for row in csv.reader(fileobj):
# TODO: add try/except to handle errors
url = row[0]
page = requests.get(url)
soup = BeautifulSoup(page.content, 'html.parser')
轉載請註明出處,本文鏈接:https://www.uj5u.com/yidong/535856.html
