給定一個網站（例如 stackoverflow.com），我想下載以下所有檔案：
(Right Click) -> Inspect -> Sources -> Page
請自己嘗試一下，看看你得到的檔案。
我怎么能在python中做到這一點？ 我知道如何檢索頁面源而不是源檔案。
我嘗試多次搜索但沒有成功，并且源（檔案）和頁面源之間存在混淆。
請注意，我正在尋找一種方法或示例，而不是現成的代碼。
例如，我想收集所有這些檔案top：
uj5u.com熱心網友回復：
要下載網站源檔案（鏡像網站/從網站復制源檔案），您可以嘗試使用PyWebCopy庫。
要保存任何單個頁面 -
from pywebcopy import save_webpage
save_webpage(
url="https://httpbin.org/",
project_folder="E://savedpages//",
project_name="my_site",
bypass_robots=True,
debug=True,
open_in_browser=True,
delay=None,
threaded=False,
)
保存完整的網站 -
from pywebcopy import save_website
save_website(
url="https://httpbin.org/",
project_folder="E://savedpages//",
project_name="my_site",
bypass_robots=True,
debug=True,
open_in_browser=True,
delay=None,
threaded=False,
)
您還可以檢查httrack 之類的工具，它帶有 GUI 來下載網站檔案（鏡像）。
另一方面下載網頁源代碼（HTML頁面） -
import requests
url = 'https://stackoverflow.com/questions/72462419/how-to-download-website-source-files-in-python'
html_output_name = 'test2.html'
req = requests.get(url, 'html.parser', headers={
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.67 Safari/537.36'})
with open(html_output_name, 'w') as f:
f.write(req.text)
f.close()
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/486881.html