- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
kdb+ 有一个 aj通常用于沿时间列连接表的函数。
这是一个例子,我有交易和报价表,我得到了每笔交易的现行报价。
q)5# t
time sym price size
-----------------------------
09:30:00.439 NVDA 13.42 60511
09:30:00.439 NVDA 13.42 60511
09:30:02.332 NVDA 13.42 100
09:30:02.332 NVDA 13.42 100
09:30:02.333 NVDA 13.41 100
q)5# q
time sym bid ask bsize asize
-----------------------------------------
09:30:00.026 NVDA 13.34 13.44 3 16
09:30:00.043 NVDA 13.34 13.44 3 17
09:30:00.121 NVDA 13.36 13.65 1 10
09:30:00.386 NVDA 13.36 13.52 21 1
09:30:00.440 NVDA 13.4 13.44 15 17
q)5# aj[`time; t; q]
time sym price size bid ask bsize asize
-----------------------------------------------------
09:30:00.439 NVDA 13.42 60511 13.36 13.52 21 1
09:30:00.439 NVDA 13.42 60511 13.36 13.52 21 1
09:30:02.332 NVDA 13.42 100 13.34 13.61 1 1
09:30:02.332 NVDA 13.42 100 13.34 13.61 1 1
09:30:02.333 NVDA 13.41 100 13.34 13.51 1 1
如何使用 pandas 执行相同的操作?我正在使用索引为 datetime64 的交易和报价数据框。
In [55]: quotes.head()
Out[55]:
bid ask bsize asize
2012-09-06 09:30:00.026000 13.34 13.44 3 16
2012-09-06 09:30:00.043000 13.34 13.44 3 17
2012-09-06 09:30:00.121000 13.36 13.65 1 10
2012-09-06 09:30:00.386000 13.36 13.52 21 1
2012-09-06 09:30:00.440000 13.40 13.44 15 17
In [56]: trades.head()
Out[56]:
price size
2012-09-06 09:30:00.439000 13.42 60511
2012-09-06 09:30:00.439000 13.42 60511
2012-09-06 09:30:02.332000 13.42 100
2012-09-06 09:30:02.332000 13.42 100
2012-09-06 09:30:02.333000 13.41 100
我看到 pandas 有一个 asof 函数,但它没有在 DataFrame 上定义,只在 Series 对象上定义。我想可以循环遍历每个 Series 并将它们一一对齐,但我想知道是否有更好的方法?
最佳答案
前段时间我写了一个广告不足的 ordered_merge
函数:
In [27]: quotes
Out[27]:
time bid ask bsize asize
0 2012-09-06 09:30:00.026000 13.34 13.44 3 16
1 2012-09-06 09:30:00.043000 13.34 13.44 3 17
2 2012-09-06 09:30:00.121000 13.36 13.65 1 10
3 2012-09-06 09:30:00.386000 13.36 13.52 21 1
4 2012-09-06 09:30:00.440000 13.40 13.44 15 17
In [28]: trades
Out[28]:
time price size
0 2012-09-06 09:30:00.439000 13.42 60511
1 2012-09-06 09:30:00.439000 13.42 60511
2 2012-09-06 09:30:02.332000 13.42 100
3 2012-09-06 09:30:02.332000 13.42 100
4 2012-09-06 09:30:02.333000 13.41 100
In [29]: ordered_merge(quotes, trades)
Out[29]:
time bid ask bsize asize price size
0 2012-09-06 09:30:00.026000 13.34 13.44 3 16 NaN NaN
1 2012-09-06 09:30:00.043000 13.34 13.44 3 17 NaN NaN
2 2012-09-06 09:30:00.121000 13.36 13.65 1 10 NaN NaN
3 2012-09-06 09:30:00.386000 13.36 13.52 21 1 NaN NaN
4 2012-09-06 09:30:00.439000 NaN NaN NaN NaN 13.42 60511
5 2012-09-06 09:30:00.439000 NaN NaN NaN NaN 13.42 60511
6 2012-09-06 09:30:00.440000 13.40 13.44 15 17 NaN NaN
7 2012-09-06 09:30:02.332000 NaN NaN NaN NaN 13.42 100
8 2012-09-06 09:30:02.332000 NaN NaN NaN NaN 13.42 100
9 2012-09-06 09:30:02.333000 NaN NaN NaN NaN 13.41 100
In [32]: ordered_merge(quotes, trades, fill_method='ffill')
Out[32]:
time bid ask bsize asize price size
0 2012-09-06 09:30:00.026000 13.34 13.44 3 16 NaN NaN
1 2012-09-06 09:30:00.043000 13.34 13.44 3 17 NaN NaN
2 2012-09-06 09:30:00.121000 13.36 13.65 1 10 NaN NaN
3 2012-09-06 09:30:00.386000 13.36 13.52 21 1 NaN NaN
4 2012-09-06 09:30:00.439000 13.36 13.52 21 1 13.42 60511
5 2012-09-06 09:30:00.439000 13.36 13.52 21 1 13.42 60511
6 2012-09-06 09:30:00.440000 13.40 13.44 15 17 13.42 60511
7 2012-09-06 09:30:02.332000 13.40 13.44 15 17 13.42 100
8 2012-09-06 09:30:02.332000 13.40 13.44 15 17 13.42 100
9 2012-09-06 09:30:02.333000 13.40 13.44 15 17 13.41 100
它可以很容易地(好吧,对于熟悉代码的人来说)扩展为模仿 KDB 的“左连接”。我意识到在这种情况下,前向填写贸易数据是不合适的;只是说明功能。
关于python - KDB+ 像 asof 一样加入 pandas 中的时间序列数据?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12322289/
当我们使用 -s 时,主线程将一些工作委托(delegate)给从线程。 我在带有 3 个从属线程的 session 上运行以下代码:q -s 3 select from t where date w
我有一个像这样构建的表: tab: ([]col1:();col2:()) `tab insert (`testsym; "testchararr") 我现在想选择 col2 所在的行具有值 "tes
我有一个包含许多列的表(“ibmqt”),我想添加一个新列,其中包含 bool 值,指示每一行的一列(“bid”)是否大于或等于另一列列(“询问”)。 到目前为止,我最成功的尝试是: ibmqt: u
我想改造以下两行表格生成的: tb: ([] time: 2010.01.01 2010.01.01; side:`Buy`Sell; price:100 101; size:30 50) time
kdb有垂直输出吗?在 ClickHouse 中我可以指定 FORMAT VERTICAL SELECT * FROM foo FORMAT VERTICAL; Row 1: ────── date:
我将销售数据存储在数据库中。 sales_date 字段包含销售发生的日期。我想提取按月分组的数据,以便获得一月、二月等的汇总数据。有没有一种方法可以做到这一点,而不必提取整个数据然后手动执行? 最佳
kdb有垂直输出吗?在 ClickHouse 中我可以指定 FORMAT VERTICAL SELECT * FROM foo FORMAT VERTICAL; Row 1: ────── date:
我将销售数据存储在数据库中。 sales_date 字段包含销售发生的日期。我想提取按月分组的数据,以便获得一月、二月等的汇总数据。有没有一种方法可以做到这一点,而不必提取整个数据然后手动执行? 最佳
我曾多次听到人们谈论 KDB 几乎可以在短时间内处理数百万行数据。为什么这么快?这仅仅是因为数据都组织在内存中吗? 另一件事是有替代方案吗?有大型数据库供应商提供内存数据库吗? 最佳答案 快速 Goo
如何从 kdb 中每行有多个条目的其他 2 列计算一列加权平均值? 例如,给定下表: T:([]sym:`a`b`c;size:(2 8;5 2 10;3 7);price:(1 2;1 1 10;2
我有一个功能 quotes[ticker;startDate;endDate] ,以及一个函数 indexConstituents[index;startDate;endDate]产生以下内容: da
kdb 凡人/众神!! 我有一个日期时间字符串数组,但格式不同 > leads[`firstConversion] "Wed May 20 2020 08:56:54 GMT-0700 (PDT)"
我是 KDB/Q 的新手,对获取两行(不一定相邻)之间的差异有疑问。 我只有一张表,如下所示: q)tickers:`ibm`bac`dis`gs`ibm`gs`dis`bac q)pxs:100 5
q)t:flip `name`iq!(`Dent``Prefect;98 32 34) q)t name iq ---------- Dent 98 32 Prefect
假设我只想插入第一列和其他列为空。最快的方法是什么?并且可能有不同的类型。 假设有 10 列。这是我能想到的: `tab insert (`abcd;`;"";`;"";"";`;`;`;`;`;`)
我试图理解这一点: 100+\ 1 2 3 101 103 106 效果很好。 问题 1: 当我将它括在方括号中时,我得到了一个我没有预料到的错误: (100+\) 1 2 3 'Cannot wri
我在选择以下时间跨度时遇到问题: t:([] date:2#.z.d ; time: 10D21:28:47.425287000 10D12:18:23.287989000 ) date
有什么方法可以输入两个日期,然后会创建一个包括他们自己在内的日期列表? 例如。我要 2017.01.01 2017.01.02 .... 2017.01.10 我现在做的是 2017.01.01 +
我通过 .Q.dpft[] 将一张张开的表格写入磁盘。使用 \l 系统命令加载此表后,我可以从该表中 select,例如,select column_name from splayed_table w
我想在 kdb 表中添加一个新列,它应该基于现有列通过填充非空值来添加,如下所示 q)t:([]a:`a`b`c`d`e`f`g`h;b:1 0n 3 4 0n 6 0n 8;c:0n 2 0n 0n
我是一名优秀的程序员,十分优秀!