timestamp - 批量无序数据导入QuestDB-6ren

timestamp - 批量无序数据导入QuestDB

转载作者：行者123 更新时间：2023-12-04 07:33:23

24

4

我正在考虑使用 QuestDB 来获取大量金融交易数据。
我已阅读并理解 https://questdb.io/docs/guides/importing-data但我的情况略有不同。

我有多种工具的交易数据。

对于每个仪器，微秒时间戳数据跨越几年。

每个仪器的数据都在一个单独的 CSV 文件中。

我的主要用例是查询任意工具子集的全局时间排序交易序列。为清楚起见，查询结果如下所示

timestamp,instrument,...
0001,A,...
0003,B,...
0004,C,...
0004,A,...
0005,B,...

因此，我相信我需要将所有交易放在一个带有指定时间戳和工具索引的表中。我现在不一定需要 QuestDB 的任何时间序列处理功能，但我确实需要按时间戳排序以免内存不足。
我的问题是(除了这种方法通常是否有意义):

考虑到每个 CSV 文件跨越数年，是否有一种有效(且简单)的方法将数据合并到一个表中？

以后每次添加新仪器时都需要重建表格吗？

最佳答案

从 6.0 开始，您可以简单地将 CSV 一个一个地附加到同一个表中，因为该表具有指定的时间戳并对其进行了分区。
如果您的 CSV 文件很大，我认为将它们批量处理成几百万行的事务比一次性卸载数十亿行要好。
根据您拥有多少数据和您的盒子内存，您需要以单个分区适合内存多次的方式进行分区。因此，您可以选择是要每日分区还是每月分区。
一旦您决定使用分区，如果您能够从所有 CSV 中逐日(或逐月)上传，则可以加快上传速度。
每次添加仪器时都不需要重新建表，当您插入记录乱序时，表会自动逐个分区重写。

关于timestamp - 批量无序数据导入QuestDB，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/67857757/

24

4

0

文章推荐： javascript - 如何使用他的 id 触发 React 组件的点击事件？

文章推荐： google-sheets - Google Sheets - 从一个范围内重复值 'n' 次

文章推荐： enums - F#等效于Enum.TryParse

timestamp - KnexJS : How do you insert/update a timestamp field with current timestamp?
标题基本上说明了一切。我主要对更新案例感兴趣。假设我们正在尝试更新具有时间戳记字段的记录，并且我们希望将该字段设置为记录更新的时间戳记。有没有办法做到这一点？最佳答案经过一些实验，我找到了合适的
python - 'Timestamp' 对象没有属性 'timestamp'
我正在学习一门类(class)，其中我必须将日期转换为 unix 时间戳。 import pandas as pd df = pd.read_csv('file.csv') print type(df
sql - TIMESTAMP、TIMESTAMP with TIME ZONE 和 TIMESTAMP with LOCAL TIME ZONE 之间的区别
我在两个不同的数据库中运行了相同的语句:我的本地数据库和 Oracle Live SQL . CREATE TABLE test( timestamp TIMESTAMP DEFAULT SY
sql - TIMESTAMP、TIMESTAMP with TIME ZONE 和 TIMESTAMP with LOCAL TIME ZONE 之间的区别
我在两个不同的数据库中运行了相同的语句:我的本地数据库和 Oracle Live SQL . CREATE TABLE test( timestamp TIMESTAMP DEFAULT SY
python - bson.timestamp.Timestamp - 递增计数器是什么？
bson.timestamp.Timestamp需要两个参数:time 和 inc。 time 显然是存储在 Timestamp 中的时间值。什么是公司？它被描述为递增计数器，但它有什么用途呢？它应
php - 查询 where timestamp < timestamp 不起作用？
2016-08-18 04:52:14 是我从数据库中获取的时间戳，用于跟踪我想从哪里加载更多记录，这些记录小于该时间这是代码 foreach($explode as $stat){
timestamp - 如何转换Erlang :timestamp() to normal date format?
我想将 erlang:timestamp() 的结果转换为正常的日期类型，公历类型。普通日期类型表示“日-月-年，时:分:秒”。 ExampleTime = erlang:timeStamp(),
timestamp - 如何转换Erlang :timestamp() to normal date format?
我想将 erlang:timestamp() 的结果转换为正常的日期类型，公历类型。普通日期类型表示“日-月-年，时:分:秒”。 ExampleTime = erlang:timeStamp(),
java - 将 Timestamp 与另一个 Timestamp 对象进行比较
我是 Java 新手。我正在使用两个 Timestamp 对象 dateFrom和dateTo 。我想检查是否dateFrom比 dateTo早 45 天。我用这个代码片段来比较这个 if(dateF
python - 属性错误 : 'Timestamp' object has no attribute 'timestamp
在将 panda 对象转换为时间戳时，我遇到了这个奇怪的问题。 Train['date'] 值类似于 01/05/2014，我正在尝试将其转换为 linuxtimestamp。我的代码: Train
python - 属性错误 : 'Timestamp' object has no attribute 'timestamp'
我正在努力让我的代码运行。时间戳似乎有问题。您对我如何更改代码有什么建议吗？我看到之前有人问过这个问题，但没能成功。这是我在运行代码时遇到的错误:'Timestamp' object has no
timestamp - AWS 雅典娜 SYNTAX_ERROR : not a valid timestamp literal
我正在尝试运行以下查询: SELECT startDate FROM tests WHERE startDate BETWEEN TIMESTAMP '1555248497'
sql - 亚马逊雅典娜 : Convert bigint timestamp to readable timestamp
我正在使用 Athena 查询以 bigInt 格式存储的日期。我想将其转换为友好的时间戳。我试过了: from_unixtime(timestamp DIV 1000) AS readab
sql-server - SQLServer异常: The conversion from timestamp to TIMESTAMP is unsupported.
最近进行了一些数据库更改，并且 hibernate 映射出现了一些困惑。 hibernate 映射: ...other fields 成员模型对象: public class Mem
Pandas : How to get timestamp. 天和 timestamp.month 填充零
rng = pd.date_range('2016-02-07', periods=7, freq='D') print(rng[0].day) print(rng[0].month) 7 2 我想要
Pandas : How to get timestamp. 天和 timestamp.month 填充零
rng = pd.date_range('2016-02-07', periods=7, freq='D') print(rng[0].day) print(rng[0].month) 7 2 我想要
Android - Firebase ServerValue.TIMESTAMP 返回 "{.sv=timestamp}"
我必须在我的数据库中保存 ServerValue.TIMESTAMP 但它必须是一个字符串。当我键入 String.valueOf(ServerValue.TIMESTAMP); 或 ServerVa
PostgreSQL select now()::timestamp 不同于默认的 now()::timestamp
在我的程序中，每个表都有一列 last_modified: last_modified int8 DEFAULT (date_part('epoch'::text, now()::timestamp)
python - 将 pandas._libs.tslibs.timestamps.Timestamp 转换为日期时间
我想将此时间戳对象转换为日期时间此对象是在数据帧上使用 asfreq 后获得的这是最后一个索引 Timestamp('2018-12-01 00:00:00', freq='MS') 想要的输出 2
mysql - 如何查找上一条记录[n-per-group max(timestamp) < timestamp]？
我有一个包含时间序列传感器数据的大表。大型是指分布在被监控的各个 channel 中的从几千到 10M 的记录。对于某种传感器类型，我需要计算当前读数和上一个读数之间的时间间隔，即找到当前读数之前的最

首页

博学

6Ren·AI

商城

timestamp - 批量无序数据导入QuestDB