- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
当我尝试从整个 S&P 500 制作 CSV 文件时,收到此错误消息:
Exception has occurred: pandas_datareader._utils.RemoteDataError
使用 YahooDailyReader 未获取符号 3M 公司的数据
我认为这是有问题的:
for row in table.findAll('tr') [1:]:
ticker = row.findAll('td')[0:].text
有人可以帮我吗?提前致谢。
完整代码-
import bs4 as bs
import datetime as dt
import os
import pandas_datareader.data as web
import pickle
import requests
def save_sp500_tickers():
resp = requests.get('http://en.wikipedia.org/wiki/List_of_S%26P_500_companies')
soup = bs.BeautifulSoup(resp.text, 'lxml')
table = soup.find('table', {'class': 'wikitable sortable'})
tickers = []
for row in table.findAll('tr') [1:]:
ticker = row.findAll('td')[0:].text
tickers.append(ticker)
with open("sp500tickers.pickle", "wb") as f:
pickle.dump(tickers, f)
return tickers
# save_sp500_tickers()
def get_data_from_yahoo(reload_sp500=False):
if reload_sp500:
tickers = save_sp500_tickers()
else:
with open("sp500tickers.pickle", "rb") as f:
tickers = pickle.load(f)
if not os.path.exists('stock_dfs'):
os.makedirs('stock_dfs')
start = dt.datetime(2010, 1, 1)
end = dt.datetime.now()
for ticker in tickers:
# just in case your connection breaks, we'd like to save our progress!
if not os.path.exists('stock_dfs/{}.csv'.format(ticker)):
df = web.DataReader(ticker, 'yahoo', start, end)
df.reset_index(inplace=True)
df.set_index("Date", inplace=True)
df = df.drop("Symbol", axis=1)
df.to_csv('stock_dfs/{}.csv'.format(ticker))
else:
print('Already have {}'.format(ticker))
get_data_from_yahoo()
最佳答案
有各种过时的代码部分。我发现的解决方案需要使用以下命令安装 fix_yahoo_finance 和 yfinance:
pip install yfinance
pip install fix_yahoo_finance
这似乎对我有用,完整代码如下。
import bs4 as bs
import datetime as dt
import os
from pandas_datareader import data as pdr
import pickle
import requests
import fix_yahoo_finance as yf
yf.pdr_override()
def save_sp500_tickers():
resp = requests.get('http://en.wikipedia.org/wiki/List_of_S%26P_500_companies')
soup = bs.BeautifulSoup(resp.text, 'lxml')
table = soup.find('table', {'class': 'wikitable sortable'})
tickers = []
for row in table.findAll('tr')[1:]:
ticker = row.findAll('td')[0].text.replace('.', '-')
ticker = ticker[:-1]
tickers.append(ticker)
with open("sp500tickers.pickle", "wb") as f:
pickle.dump(tickers, f)
return tickers
# save_sp500_tickers()
def get_data_from_yahoo(reload_sp500=False):
if reload_sp500:
tickers = save_sp500_tickers()
else:
with open("sp500tickers.pickle", "rb") as f:
tickers = pickle.load(f)
if not os.path.exists('stock_dfs'):
os.makedirs('stock_dfs')
start = dt.datetime(2019, 6, 8)
end = dt.datetime.now()
for ticker in tickers:
print(ticker)
if not os.path.exists('stock_dfs/{}.csv'.format(ticker)):
df = pdr.get_data_yahoo(ticker, start, end)
df.reset_index(inplace=True)
df.set_index("Date", inplace=True)
df.to_csv('stock_dfs/{}.csv'.format(ticker))
else:
print('Already have {}'.format(ticker))
save_sp500_tickers()
get_data_from_yahoo()
关于python - 未获取数据 Web.DataReader Panda,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54854276/
是 dataReader[i] 逻辑上等价于 dataReader.GetValue(i) 他们是一样的吗?它们不同吗?是否存在一种情况比另一种更合适的情况? 有documented differen
我有一个 DataReader...我将 DataReader 的结果用作另一个 DataReader 的参数,该 DataReader 连接到具有存储过程类型的命令。它现在工作得很快,但我担心我的数
我正在尝试验证我的数据库中经过哈希处理和加盐处理的密码。我在用户表用户名、哈希值和盐中创建了一列。现在我想知道我可以使用数据读取器访问其他列值。 我尝试了这个方法,但出现了一条红线。这也是我失败的尝试
正如您可能已经从标题中猜到的,我正在尝试这样做: #region check new nations private void checknewnations() {
我正在实现 IDataReader,我想知道 Dispose 的实现是否应该调用 Close。 此外,Close 是否应该调用 Dispose? 我的猜测是 Close 不应调用 Dispose 而
类似于this question ,但答案从来没有真正解决我想知道的问题。从 DataReader 获取值是否有任何标准?即,是这个 dataReader.GetString(dataReader.G
Microsoft(和许多开发人员)claim SqlDataReader.GetOrdinal 方法提高了从 DataReader 检索值的性能,而不是使用命名查找,即。读者[“列名”]。问题是什么
我们正在使用 Dapper 来映射我们的 sql 数据,到目前为止它运行良好。我有一个案例,我们正在做类似的事情: someObject = con.Query("GetInfoSproc", p,
let reader = selectCommand.ExecuteReader() let getBytesData (x : IDataReader) = let len = reader
所以我对市场之间的冗余标签名称有点问题。例如在使用以下代码获取数据时: from pandas_datareader import data as pdr from datetime import d
我有一个相当复杂的 SQL 查询,它根据客户 ID 从数据库中提取不同类型的产品。它提取三种不同类型的产品,由其唯一标识符编号范围标识(即,ID 1000-1999 是一种产品,2000-2999 是
我的目标是从数据源检索数据,向其中添加一些元数据并将其插入到另一个目标。 目标的架构比源(计算列)多四列。 我正在使用 SqlBulkCopy,它需要一个具有所有列(包括 4 个计算的列)的读取器。
所以基本上我的应用程序中有两个连接: conn = new MySqlConnection("server=" + ip + ";uid=" + user +";pwd=" + pass + ";da
我使用下面的代码在 C# 中从 mySql 获取数据。当我这样做时,我收到代码下方提到的错误。我发现了一些关于这个主题的问题,但他们使用了 DataReader,而我没有。 MySqlConnecti
我使用 EF+MySql,数据库包含两个 foriegnkey,当我运行我的项目时,它说:已经有一个打开的 DataReader 与此连接关联,必须先关闭,然后我将 MultipleActiveRes
我正在尝试创建一个基于变量的DataReader。我需要根据选择了 TreeView 中的哪个节点来填充一系列 TextBoxes,并且父节点数据与子节点数据不同。所以,我写了这段代码: using
我遇到了一个错误,提示我的数据读取器已经打开。 我的代码是这样的 public static Users GetByID(int ID, SqlConnection connection) {
我想做的与 OP 在此处提出的要求类似: Multiples Table in DataReader 我试图将一个或多个 SQL 查询的结果存储到单独的数据表中。上述问题的方法的问题在于它仅适用于每个
我正在遍历我的数据库以显示球员关联的联赛列表。如果玩家不是任何联盟的成员,则会显示一条消息告诉他们。 这是代码 if (dReader.Read()) { while (dR
我只是使用 pandas datareader 来获取过去两周左右的股票数据,它运行良好。突然间,从昨天开始,所提供的日期就不再有效了。它只是给我过去一年的数据,我无法更改日期。曾经与注释掉的那个一起
我是一名优秀的程序员,十分优秀!