gpt4 book ai didi

mysql - 从mysql导入数据到druid

转载 作者:可可西里 更新时间:2023-11-01 06:41:06 25 4
gpt4 key购买 nike

我一直在使用 mysql 进行所有数据存储和查询。但是现在表格的大小已经变得如此之大,有时需要几个小时才能得到结果。我已采取一切可能的措施,例如优化查询和正确索引表。

所以一直想着用druid。我之前没有和德鲁伊一起工作过。我想我必须将所有表、数据从 mysql 导入到德鲁伊。我不明白我应该从哪里开始。因此,如果有人好心地帮助我提供任何指导,我将非常感激。提前致谢。

最佳答案

首先请注意,Druid 会摄取时间序列数据,因此您的每一行数据都必须有一个时间戳。如果可能,请继续阅读。

将您的数据输出到 CSV 或 TSV。这些是批量摄取支持的两种格式。所以你的数据看起来像这样:


2013-08-31T01:02:33Z,"someData","true","true","false","false",57,200,-143<br/>
2013-08-31T03:32:45Z,"moreData","false","true","true","false",459,129,330<br/>
...

然后你可以创建一个index task其中有一个 firehose 部分,您可以在其中指定文件的位置、格式和列:

"firehose" : {
"type" : "local",
"baseDir" : "my/directory/",
"filter" : "my.csv",
"parser" : {
"timestampSpec" : {
"column" : "timestamp"
},
"data" : {
"type" : "csv",
"columns" : ["timestamp","data1","data2","data3",...,"datan"],
"dimensions" : ["data1","data2","data3",...,"datan"]
}
}
}

请注意对时间戳列的特殊处理。

现在运行索引服务(Druid docs 包含有关如何启动您需要的集群的信息)并按照 Batch Ingestion Using the Indexing Service 部分所述将任务提供给它.数据将被摄取并处理成您可以查询的 Druid 段。

关于mysql - 从mysql导入数据到druid,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21180739/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com