這里的超級菜鳥有朋友幫助我制作了這個用于查看對沖基金 13fs 的網路爬蟲。以前作業正常，但最近我收到了這個錯誤：
response_two = get_request(sec_url tags[0]['href'])
IndexError：串列索引超出范圍
我不明白為什么這個索引不再起作用了。我一直試圖通過在 SEC 網站上訪問瀏覽器控制臺來解決這個問題，但我很難弄清楚。
這是完整的代碼：
import requests
import re
import csv
import lxml
import numpy as np
import pandas as pd
from bs4 import BeautifulSoup
sec_url = 'https://www.sec.gov'
def get_request(url):
return requests.get(url)
def create_url(cik):
return 'https://www.sec.gov/cgi-bin/browse-edgar?CIK={}&owner=exclude&action=getcompany&type=13F-HR'.format(cik)
def get_user_input():
cik = input("Enter CIK number:")
return cik
requested_cik = get_user_input()
# Find mutual fund by CIK number on EDGAR
response = get_request(create_url(requested_cik))
soup = BeautifulSoup(response.text, "html.parser")
tags = soup.findAll('a', id="documentsbutton")
# Find latest 13F report for mutual fund
response_two = get_request(sec_url tags[0]['href'])
soup_two = BeautifulSoup(response_two.text, "html.parser")
tags_two = soup_two.findAll('a', attrs={'href': re.compile('xml')})
xml_url = tags_two[3].get('href')
response_xml = get_request(sec_url xml_url)
soup_xml = BeautifulSoup(response_xml.content, "lxml")
# DataFrame
df = pd.DataFrame()
df['companies'] = soup_xml.body.findAll(re.compile('nameofissuer'))
df['value'] = soup_xml.body.findAll(re.compile('value'))
for row in df.index:
df.loc[row, 'value'] = df.loc[row, 'value'].text
df.loc[row, 'companies'] = df.loc[row, 'companies'].text
df['value'] = df['value'].astype(float)
df = df.groupby('companies').sum()
df = df.sort_values('value',ascending=False)
for row in df.index:
df.loc[row, 'allocation'] = df.loc[row, 'value']/df['value'].sum()*100
df['allocation'] = df['allocation'].astype(int)
df = df.drop('value', axis=1)
df
非常感謝你！
uj5u.com熱心網友回復：
腳本有兩個問題：
SEC 在其網站上添加了速率限制。您并不是唯一面臨這個問題的人。. 要解決此問題，請使用 HedgeHog 描述的修復程式。
（不是實際問題——請參閱后續內容。）
您要查找的按鈕的 id 是“documentbutton s ”（復數），而不是“documentbutton”（單數）。因此，您需要更改要查找的 HTML 元素的 id。
這：
tags = soup.findAll('a', id="documentbutton")
應該是這樣的：
tags = soup.findAll('a', id="documentsbutton")
錯誤應該消失了！（話雖如此，我無法驗證資料幀代碼是否適用于這些請求，因為它在原始帖子中被切斷了。）
uj5u.com熱心網友回復：
看到tags[0]加薪IndexError，你的問題似乎tags是一個空串列[]
這意味著，soup.findAll沒有找到任何<a> tags與id=documentsButton你的湯
這可能是由 URL、CIK 編號或您要搜索的元素 ID 中的拼寫錯誤引起的。
鑒于我無法訪問www.sec.gov，我不會嘗試，這意味著我只能為與它無關的事情提供幫助
uj5u.com熱心網友回復：
怎么了？
總是先看看你的湯 - 這就是真相。內容可能總是與開發工具中的視圖略有不同。
美國證券交易委員會您的請求來自未宣告的自動化工具
為了讓所有用戶都能公平訪問，SEC 保留限制來自未宣告自動化工具的請求的權利。您的請求已被識別為可接受策略之外的自動化工具網路的一部分，并且在采取行動宣告您的流量之前將對其進行管理。
請通過更新您的用戶代理以包含公司特定資訊來宣告您的流量。
有關從 SEC.gov 高效下載資訊（包括最新的 EDGAR 檔案）的最佳實踐，請訪問 sec.gov/developer。您還可以注冊有關 SEC 開放資料計劃的電子郵件更新，包括提高下載資料效率的最佳實踐，以及可能影響腳本下載程序的 SEC.gov 增強功能。如需更多資訊，請聯系 [email protected]。
如需更多資訊，請參閱 SEC 的網站隱私和安全政策。感謝您對美國證券交易委員會的關注。
參考 ID：xxxxxxxxxxxxxxxxxxx.xxxxxxxxxx.xxxxxxxx
更多資訊
互聯網安全政策
使用本網站，即表示您同意安全監控和審計。出于安全目的，并確保公共服務對用戶可用，該政府計算機系統采用程式來監控網路流量，以識別未經授權的上傳或更改資訊的嘗試或以其他方式造成損害的嘗試，包括拒絕向用戶提供服務的嘗試。
嚴禁未經授權嘗試在本網站的任何部分上傳資訊和/或更改資訊，并會根據 1986 年計算機欺詐和濫用法和 1996 年國家資訊基礎設施保護法（見美國法典第 18 篇§§）受到起訴。 § 1001 和 1030）。
為確保我們的網站對所有用戶都能正常運行，SEC 會監控對 SEC.gov 內容的請求頻率，以確保自動搜索不會影響其他人訪問 SEC.gov 內容的能力。我們保留阻止提交過多請求的 IP 地址的權利。當前的準則將用戶的請求總數限制為每秒不超過 10 個，而不管用于提交請求的機器數量如何。
如果用戶或應用程式每秒提交超過 10 個請求，來自 IP 地址的進一步請求可能會在短時間內受到限制。一旦請求率下降到閾值以下 10 分鐘，用戶就可以恢復訪問 SEC.gov 上的內容。SEC 的這一做法旨在限制 SEC.gov 上的過度自動搜索，無意或預期會影響瀏覽 SEC.gov 網站的個人。
請注意，隨著 SEC 管理 SEC.gov 以確保網站高效運行并保持對所有用戶可用，此政策可能會發生變化。
怎么修？
您可以user-agent在請求中添加- 但您應該尊重網站政策。
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'}
def get_request(url):
return requests.get(url,headers=headers)
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/398843.html
上一篇：連接多個具有相同列名的CSV