這是本地的運行的結果
這是服務上的運行結果
這部分是該段運行的核心代碼：
```python
def kuai_yun_qinghua_superfast():
url_kuai='https://www.kuaidaili.com/free/inha/{num}'
url_yun='http://www.ip3366.net/free/?stype=1&page={num}'
url_qinghua='http://www.qinghuadaili.com/free/{num}/'
url_superfast='http://www.superfastip.com/welcome/freeip/{num}'
ip_list=[]
for j in range(4):
if j==0:
url=url_kuai
elif j==1:
url=url_yun
elif j==2:
url=url_qinghua
elif j==3:
url = url_superfast
for i in range(8):
temp_ip_list=[]
url=url.format(num=str(i+1))
try:
res=requests.get(url=url,headers=headers)
except (requests.exceptions.ReadTimeout, requests.exceptions.ChunkedEncodingError,
requests.exceptions.ConnectionError) as e:
print(e)
continue
html=etree.HTML(res.content)
print(res.content.decode('utf-8'))
ip=html.xpath("//td[1]")
port=html.xpath("//td[2]")
print(ip)
print(port)
time.sleep(2)
temp_ip_list.extend(list(map(lambda ip, port: (ip.text + ':' + port.text), ip, port)))
print(temp_ip_list)
if len(temp_ip_list):
ip_list[len(ip_list):len(ip_list)+len(temp_ip_list)-1]=temp_ip_list
# 重置url
if j == 0:
url = url_kuai
elif j == 1:
url = url_yun
elif j == 2:
url = url_qinghua
elif j == 3:
url = url_superfast
# 去除重復元素
ip_list = list(set(ip_list))
return ip_list
```
uj5u.com熱心網友回復：
在linux服務器上爬到的網頁原始碼，我在本地使用xpath能夠成功全部提取！ 但是在服務器上只能提取一個資料。。。。試過在服務器上重裝lxml還是沒有解決。。。。轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/56700.html
標籤：專題技術討論區
上一篇：manjaro關閉自動待機
下一篇：求教vm安裝win10