爬蟲程序中的問題-有解無憂

報錯如圖，本以為是代理的問題，但是換了ip還是不行，求大佬幫忙

uj5u.com熱心網友回復：

這是國外的網，你看一下通過瀏覽器訪問行不行，如果通過瀏覽器訪問都不行，那證明你的主機沒法和這個url所在的主機進行通信，也就不能用request請求到資料

uj5u.com熱心網友回復：

參考 1 樓數學狂魔的回復:

這是國外的網，你看一下通過瀏覽器訪問行不行，如果通過瀏覽器訪問都不行，那證明你的主機沒法和這個url所在的主機進行通信，也就不能用request請求到資料

這個網站是維基百科，瀏覽器也是用了谷歌訪問助手的，所以在代碼里加了代理，可還是沒有用，怎么破啊，還是說用其他代理方法？

uj5u.com熱心網友回復：

參考 2 樓 JackpotG的回復:

Quote: 參考 1 樓數學狂魔的回復:

這是國外的網，你看一下通過瀏覽器訪問行不行，如果通過瀏覽器訪問都不行，那證明你的主機沒法和這個url所在的主機進行通信，也就不能用request請求到資料
這個網站是維基百科，瀏覽器也是用了谷歌訪問助手的，所以在代碼里加了代理，可還是沒有用，怎么破啊，還是說用其他代理方法？

你先試一下用同樣的代碼請求一下國內的網站，如果沒問題那就是請求被攔截了

uj5u.com熱心網友回復：

參考 2 樓 JackpotG的回復:

Quote: 參考 1 樓數學狂魔的回復:

這是國外的網，你看一下通過瀏覽器訪問行不行，如果通過瀏覽器訪問都不行，那證明你的主機沒法和這個url所在的主機進行通信，也就不能用request請求到資料
這個網站是維基百科，瀏覽器也是用了谷歌訪問助手的，所以在代碼里加了代理，可還是沒有用，怎么破啊，還是說用其他代理方法？

因為你買的代理也不一定能訪問國外的網

uj5u.com熱心網友回復：

參考 4 樓數學狂魔的回復:

Quote: 參考 2 樓 JackpotG的回復:
Quote: 參考 1 樓數學狂魔的回復:

這是國外的網，你看一下通過瀏覽器訪問行不行，如果通過瀏覽器訪問都不行，那證明你的主機沒法和這個url所在的主機進行通信，也就不能用request請求到資料
這個網站是維基百科，瀏覽器也是用了谷歌訪問助手的，所以在代碼里加了代理，可還是沒有用，怎么破啊，還是說用其他代理方法？

因為你買的代理也不一定能訪問國外的網

似乎是這樣的，那現在這種情況是換代理還是從代碼上解決啊

uj5u.com熱心網友回復：

參考 5 樓 JackpotG的回復:

Quote: 參考 4 樓數學狂魔的回復:
Quote: 參考 2 樓 JackpotG的回復:
Quote: 參考 1 樓數學狂魔的回復:

這是國外的網，你看一下通過瀏覽器訪問行不行，如果通過瀏覽器訪問都不行，那證明你的主機沒法和這個url所在的主機進行通信，也就不能用request請求到資料
這個網站是維基百科，瀏覽器也是用了谷歌訪問助手的，所以在代碼里加了代理，可還是沒有用，怎么破啊，還是說用其他代理方法？

因為你買的代理也不一定能訪問國外的網

似乎是這樣的，那現在這種情況是換代理還是從代碼上解決啊

你一定要爬維基百科嗎？。。。。

uj5u.com熱心網友回復：

參考 6 樓數學狂魔的回復:

Quote: 參考 5 樓 JackpotG的回復:
Quote: 參考 4 樓數學狂魔的回復:
Quote: 參考 2 樓 JackpotG的回復:
Quote: 參考 1 樓數學狂魔的回復:

這是國外的網，你看一下通過瀏覽器訪問行不行，如果通過瀏覽器訪問都不行，那證明你的主機沒法和這個url所在的主機進行通信，也就不能用request請求到資料
這個網站是維基百科，瀏覽器也是用了谷歌訪問助手的，所以在代碼里加了代理，可還是沒有用，怎么破啊，還是說用其他代理方法？

因為你買的代理也不一定能訪問國外的網

似乎是這樣的，那現在這種情況是換代理還是從代碼上解決啊

你一定要爬維基百科嗎？。。。。

我的論文要求我收集專家資料(如金融專家等)，百度百科的太少，只能爬取維基百科的了。。。或者還有其他方法？

uj5u.com熱心網友回復：

參考 7 樓 JackpotG 的回復:

Quote: 參考 6 樓數學狂魔的回復:
Quote: 參考 5 樓 JackpotG的回復:
Quote: 參考 4 樓數學狂魔的回復:
Quote: 參考 2 樓 JackpotG的回復:
Quote: 參考 1 樓數學狂魔的回復:

這是國外的網，你看一下通過瀏覽器訪問行不行，如果通過瀏覽器訪問都不行，那證明你的主機沒法和這個url所在的主機進行通信，也就不能用request請求到資料
這個網站是維基百科，瀏覽器也是用了谷歌訪問助手的，所以在代碼里加了代理，可還是沒有用，怎么破啊，還是說用其他代理方法？

因為你買的代理也不一定能訪問國外的網

似乎是這樣的，那現在這種情況是換代理還是從代碼上解決啊

你一定要爬維基百科嗎？。。。。

我的論文要求我收集專家資料(如金融專家等)，百度百科的太少，只能爬取維基百科的了。。。或者還有其他方法？

我上網搜了一下，我找到一些可能對你有幫助的，你看一下
１．http://link.openkg.cn/　關于百科的知識圖譜
２．你可以搜：“關于百科的資料集”
３．你可以搜：”維基百科ＡＰＩ“（我試過這個ａｐｉ也是國外的服務器，不好使）

uj5u.com熱心網友回復：

參考 8 樓數學狂魔的回復:

Quote: 參考 7 樓 JackpotG 的回復:

Quote: 參考 6 樓數學狂魔的回復:
Quote: 參考 5 樓 JackpotG的回復:
Quote: 參考 4 樓數學狂魔的回復:
Quote: 參考 2 樓 JackpotG的回復:
Quote: 參考 1 樓數學狂魔的回復:

這是國外的網，你看一下通過瀏覽器訪問行不行，如果通過瀏覽器訪問都不行，那證明你的主機沒法和這個url所在的主機進行通信，也就不能用request請求到資料
這個網站是維基百科，瀏覽器也是用了谷歌訪問助手的，所以在代碼里加了代理，可還是沒有用，怎么破啊，還是說用其他代理方法？

因為你買的代理也不一定能訪問國外的網

似乎是這樣的，那現在這種情況是換代理還是從代碼上解決啊

你一定要爬維基百科嗎？。。。。

我的論文要求我收集專家資料(如金融專家等)，百度百科的太少，只能爬取維基百科的了。。。或者還有其他方法？

我上網搜了一下，我找到一些可能對你有幫助的，你看一下
１．http://link.openkg.cn/　關于百科的知識圖譜
２．你可以搜：“關于百科的資料集”
３．你可以搜：”維基百科ＡＰＩ“（我試過這個ａｐｉ也是國外的服務器，不好使）

我查了，都是find nothing...

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/89417.html

標籤：腳本語言(Perl/Python)

上一篇：win10下安裝cpu版本tensorflow

下一篇：條件結構錯誤的原因