小白,目前只學了一點點皮毛,為了期末大作業。
代碼如下:
import requests,csv,random
from bs4 import BeautifulSoup
csv_file=open('電影.csv', 'w', newline='',encoding='utf-8-sig')
writer = csv.writer(csv_file)
writer.writerow([ '電影名', '導演', '演員','型別','地區','語言','上映日期','片長'])
header = {
'Host':'movie.douban.com',
'Origin':'movie.douban.com',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36',
}
proxies={"http":'163.204.240.175'}
def format_url(num):
urls=[]
base_url='https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=%E7%94%B5%E5%BD%B1&start={}'
for i in range(0,20*num,20):
url=base_url.format(i)
urls.append(url)
return urls
urls=format_url(500)
for url in urls:
html=requests.get(url,headers=header,proxies=proxies,timeout=5)
soup=BeautifulSoup(html.text,'lxml')
到此就不知道該怎么做了
這個print(soup)之后
出來的結果是有電影的名稱,評分,導演,演員,還有電影的具體豆瓣頁面的url,
但是我想要的是再進入這個url里邊,
去獲取到更多的資訊,包括 電影的'型別','地區','語言','上映日期','片長'
然而到這里我就不知道該怎么做了
還有就是,寫入csv檔案老是失敗,寫不進去為什么??
希望能有人幫助一下!
uj5u.com熱心網友回復:
頂頂我自己
uj5u.com熱心網友回復:

沒有人理我嗎
uj5u.com熱心網友回復:
scrapy框架弄區,requests會哭的uj5u.com熱心網友回復:
再定義一個方法,將具體頁面的 url 提取出來并傳遞進去就行了,新的方法接收這個 url,再次對這個 url 發送請求,獲取回應內容并進行決議即可轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/34962.html
上一篇:求大佬MATLAB求解
下一篇:求助
