hadoop - OpenTSDB 的性能

Question

返回 9000 个数据点的 json 需要 6 秒。我在 12 个指标中有大约 10GB 的数据，比如 x.open、x.close...

数据存储模式:公制:x.open
tagk : 符号
tagv : 字符串值

指标:x.close
tagk : 符号
tagv : 字符串值

我的配置集群设置如下

节点 1:(真正的 16GB ActiveNN)JournalNode、Namenode、Zookeeper、RegionServer、HMaster、DFSZKFailoverController、TSD

节点 2:(VM 8GB StandbyNN)JournalNode、Namenode、Zookeeper、RegionServer

节点3:(实际16GB)Datanode、RegionServer、TSD

节点 4:(VM 4GB)JournalNode、Datanode、Zookeeper、RegionServer该设置适用于 POC/Dev，不适用于生产。

时间戳的宽度就像，从 1980 年到今天，每个交易品种在 easch 指标下每天一个数据点。如果上面的陈述令人困惑(我的 12 个指标每天会在连续运行中为每个符号添加 3095 个数据点。)
当前场景中标签值的基数是 3095+ 个符号

查询示例: http://myIPADDRESS:4242/api/query?start=1980/01/01&end=2016/02/18&m=sum:stock.Open {symbol=IBM}&arrays=true

调试器结果:8.44秒；检索到的数据点 8859；数据大小:55kb

数据写入速度也很慢，写入220万个数据点需要6.5小时。我是在配置的某处有误还是期望过高？

写法:Json对象通过Http

启用加盐:尚未

Answer 1

一个指标中的数据过多会导致性能下降。结果可能是 9000 个数据点，但原始数据集可能太大。从 100 万中检索 9000 个数据点的性能将与从 10 亿中检索 9000 个数据点的性能大不相同。