- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在尝试构建一个股票数据的 DataFrame,我可以获得我需要的所有数据,但一次只能获得 1000 个数据点。所以我想做的是将最初的 1000 个数据点保存在一个 csv 文件中,然后时不时地再次运行我的程序,以及任何新数据,我想 append 到旧的 DataFrame。因此它需要根据“旧 df”检查“新 df”并 append 任何新行。
假设我的“旧 df”保存在 csv 文件中,如下所示:
Date Stock A Stock B Stock C Stock D
01/02/19 100.0 87.0 74.0 228.0
02/02/19 101.5 87.5 75.0 227.0
03/02/19 102.0 89.0 76.5 225.5
然后我在第二天运行我的程序,'new df' 看起来像这样:
Date Stock A Stock B Stock C Stock D
02/02/19 101.5 87.5 75.0 227.0
03/02/19 102.0 89.0 76.5 225.5
04/02/19 103.0 89.5 77.5 226.0
然后我需要让我的程序识别“新 df”中的最后一行不在“旧 df”中,并将最近的数据 append 到“旧 df”中,在这种情况下:
04/02/19 103.0 89.5 77.5 226.0
生成以下 df,然后将其保存为“旧 df”,以便我可以在第二天重复该过程:
Date Stock A Stock B Stock C Stock D
01/02/19 100.0 87.0 74.0 228.0
02/02/19 101.5 87.5 75.0 227.0
03/02/19 102.0 89.0 76.5 225.5
04/02/19 103.0 89.5 77.5 226.0
我想代码将不得不使用以下的一些变体:
old_df.append(new_df)
但是里面有一些东西可以扫描 old_df 中已有的数据。
如有任何帮助,我们将不胜感激。
到目前为止,这是我的代码:
import requests
import json
import pandas as pd
import datetime as dt
#total_data = pd.read_csv('1m_bin_db.csv')
#total_data.set_index('Date', inplace=True)
def get_bars(symbol, interval):
url = 'https://api.binance.com/api/v1/klines?symbol=' + symbol + '&interval=' + interval + '&limit=1000'
data = json.loads(requests.get(url).text)
df = pd.DataFrame(data)
df.columns = ['open_time',
'o', 'h', 'l', 'c', 'v',
'close_time', 'qav', 'num_trades',
'taker_base_vol', 'taker_quote_vol', 'ignore']
df.index = [dt.datetime.fromtimestamp(x/1000.0) for x in df.close_time]
return df
coins = ['ADABTC']
dfs = []
for coin in coins:
get_data = get_bars(coin, '1m')
df = get_data[['o', 'h', 'l', 'c', 'v']].add_prefix(coin + '_')
df = df.apply(lambda x: pd.to_numeric(x, errors='coerce'))
dfs.append(df)
prices_1m = pd.concat(dfs, axis=1)
prices_1m.index.name = 'Date'
当我从 CSV 打印 total_data
时,我得到:
ADABTC_o ADABTC_h ... ADABTC_c ADABTC_v
Date ...
2019-02-15 12:41:59.999 0.000011 0.000011 ... 0.000011 48805.0
2019-02-15 12:42:59.999 0.000011 0.000011 ... 0.000011 837.0
2019-02-15 12:43:59.999 0.000011 0.000011 ... 0.000011 19430.0
2019-02-15 12:44:59.999 0.000011 0.000011 ... 0.000011 15319.0
2019-02-15 12:45:59.999 0.000011 0.000011 ... 0.000011 769414.0
当我打印 prices_1m
时,我得到:
ADABTC_o ADABTC_h ... ADABTC_c ADABTC_v
Date ...
2019-02-15 12:43:59.999 0.000011 0.000011 ... 0.000011 19430.0
2019-02-15 12:44:59.999 0.000011 0.000011 ... 0.000011 15319.0
2019-02-15 12:45:59.999 0.000011 0.000011 ... 0.000011 773414.0
2019-02-15 12:46:59.999 0.000011 0.000011 ... 0.000011 7449.0
2019-02-15 12:47:59.999 0.000011 0.000011 ... 0.000011 0.0
所以我想做的就是将最后两行粘贴到 total_data
的底部,我做到了:
df = total_data.append(prices_1m).drop_duplicates()
结果如下:
ADABTC_o ADABTC_h ... ADABTC_c ADABTC_v
Date ...
2019-02-15 12:43:59.999 0.000011 0.000011 ... 0.000011 19430.0
2019-02-15 12:44:59.999 0.000011 0.000011 ... 0.000011 15319.0
2019-02-15 12:45:59.999 0.000011 0.000011 ... 0.000011 769414.0
2019-02-15 12:45:59.999000 0.000011 0.000011 ... 0.000011 773414.0
2019-02-15 12:46:59.999000 0.000011 0.000011 ... 0.000011 7449.0
所以我认为问题是数据本质上是“实时”的,所以 12:45:59.999 是 total_data
中的最后一个数据点,我可能在还剩 10 秒的时候就得到了该数据60 秒的数据周期。因此,在 prices_1m
中,12:45:59.999 数据点已完全更新,这解释了重复时间与不同“V”列之间的差异。所以我觉得我们快到了,但我希望 prices_1m
优先于 total_data
,所以最新的数据 append 到 total_data
。
2019-02-15 12:45:59.999 0.000011 0.000011 ... 0.000011 773414.0
所以我希望该行成为 2019-02-15 12:45:59.999
的条目,然后从那里继续追加。
我在打印时得到这个(total_data.index):
Index(['2019-02-14 20:06:59.999', '2019-02-14 20:07:59.999',
'2019-02-14 20:08:59.999', '2019-02-14 20:09:59.999',
'2019-02-14 20:10:59.999', '2019-02-14 20:11:59.999',
'2019-02-14 20:12:59.999', '2019-02-14 20:13:59.999',
'2019-02-14 20:14:59.999', '2019-02-14 20:15:59.999',
...
'2019-02-15 12:36:59.999', '2019-02-15 12:37:59.999',
'2019-02-15 12:38:59.999', '2019-02-15 12:39:59.999',
'2019-02-15 12:40:59.999', '2019-02-15 12:41:59.999',
'2019-02-15 12:42:59.999', '2019-02-15 12:43:59.999',
'2019-02-15 12:44:59.999', '2019-02-15 12:45:59.999'],
dtype='object', name='Date', length=1000)
最佳答案
我相信您需要使用 DatetimeIndex
和 concat
,而不是 merge
by date
列:
coins = ['ADABTC']
dfs = []
for coin in coins:
get_data = get_bars(coin, '1m')
df = get_data[['o', 'h', 'l', 'c', 'v']].add_prefix(coin + '_')
df = df.apply(lambda x: pd.to_numeric(x, errors='coerce'))
dfs.append(df)
prices_1m = pd.concat(dfs, axis=1)
prices_1m.to_csv('1m_bin_db.csv')
然后:
total_data.index = pd.to_datetime(total_data.index)
df = total_data.append(prices_1m)
df = df[~df.index.duplicated(keep='last')]
关于pandas - 用新数据 append 一个 pandas 数据框,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54708188/
我想知道有没有可能做 new PrintWriter(new BufferedWriter(new PrintWriter(s.getOutputStream, true))) 在 Java 中,s
我正在尝试使用 ConcurrentHashMap 初始化 ConcurrentHashMap private final ConcurrentHashMap > myMulitiConcurrent
我只是想知道两个不同的新对象初始化器之间是否有任何区别,还是仅仅是语法糖。 因此: Dim _StreamReader as New Streamreader(mystream) 与以下内容不同: D
在 C++ 中,以下两种动态对象创建之间的确切区别是什么: A* pA = new A; A* pA = new A(); 我做了一些测试,但似乎在这两种情况下,都调用了默认构造函数,并且只调用了它。
我已经阅读了其他帖子,但它们没有解决我的问题。环境为VB 2008(2.0 Framework)下面的代码在 xslt.Load 行导致 XSLT 编译错误下面是错误的输出。我将 XSLT 作为字符串
我想知道为什么alert(new Boolean(false))打印 false 而不是打印对象,因为 new Boolean 应该返回对象。如果我使用 console.log(new Boolean
本文实例讲述了Python装饰器用法。分享给大家供大家参考,具体如下: 写装饰器 装饰器只不过是一种函数,接收被装饰的可调用对象作为它的唯一参数,然后返回一个可调用对象(就像前面的简单例子) 注
我可以编写 YAML header 来使用 knit 为 R Markdown 文件生成多种输出格式吗?我无法重现 the original question with this title 的答案中
我可以编写一个YAML标头以使用knitr为R Markdown文件生成多种输出格式吗?我无法重现the original question with this title答案中描述的功能。 这个降价
我正在使用vars package可视化脉冲响应。示例: library(vars) Canada % names ir % `$`(irf) %>% `[[`(variables[e])) %>%
我有一个容器类,它有一个通用参数,该参数被限制到某个基类。提供给泛型的类型是基类约束的子类。子类使用方法隐藏(新)来更改基类方法的行为(不,我不能将其设为虚拟,因为它不是我的代码)。我的问题是"new
Java 在提示! cannot find symbol symbol : constructor Bar() location: class Bar JPanel panel =
在我的应用程序中,一个新的 Activity 从触摸按钮(而不是点击)开始,而且我没有抬起手指并希望在新的 Activity 中跟踪触摸的 Action 。第二个 Activity 中的触摸监听器不响
已关闭。此问题旨在寻求有关书籍、工具、软件库等的建议。不符合Stack Overflow guidelines .它目前不接受答案。 我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题,
和我的last question ,我的程序无法检测到一个短语并将其与第一行以外的任何行匹配。但是,我已经解决并回答了。但现在我需要一个新的 def函数,它删除某个(给定 refName )联系人及其
这个问题在这里已经有了答案: Horizontal list items (7 个答案) 关闭 9 年前。
我想创建一个新的 float 类型,大小为 128 位,指数为 4 字节(32 位),小数为 12 字节(96 位),我该怎么做输入 C++,我将能够在其中进行输入、输出、+、-、*、/操作。 [我正
我在放置引用计数指针的实例时遇到问题 类到我的数组类中。使用调试器,似乎永远不会调用构造函数(这会扰乱引用计数并导致行中出现段错误)! 我的 push_back 函数是: void push_back
我在我们的代码库中发现了经典的新建/删除不匹配错误,如下所示: char *foo = new char[10]; // do something delete foo; // instead of
A *a = new A(); 这是创建一个指针还是一个对象? 我是一个 c++ 初学者,所以我想了解这个区别。 最佳答案 两者:您创建了一个新的 A 实例(一个对象),并创建了一个指向它的名为 a
我是一名优秀的程序员,十分优秀!