java - 收集、存储和检索大量数字数据

Question

我即将开始实时收集大量数字数据(对于那些感兴趣的人，各种股票和 future 的出价/要价/最后或“磁带”)。稍后将检索数据以进行分析和模拟。这一点都不难，但我想高效地做到这一点，这会带来很多问题。我不需要最好的解决方案(无论如何，根据指标可能有很多“最佳”)。我只想要一个计算机科学家会认可的解决方案。 (还是不笑？)

(1) 优化磁盘空间、I/O 速度或内存？

对于模拟来说，整体速度很重要。我们希望数据的 I/O(实际上是 I)速度快于计算引擎，因此我们不受 I/O 限制。

(2) 存储文本，或其他东西(二进制数字)？

(3) 给定 (1)-(2) 中的一组选择，是否有任何出色的语言/库组合来完成这项工作——Java、Python、C++ 或其他语言？

我会将此代码归类为“写完即忘”，因此效率比代码的清晰度/紧凑度高。我非常非常愿意坚持使用 Python 来编写模拟代码(因为 sims 确实发生了很多变化并且需要清晰)。因此，优秀的 Pythonic 解决方案可以获得加分。

编辑:这是针对 Linux 系统 (Ubuntu)

谢谢

Answer 1

1. 优化磁盘空间和 IO 速度是一回事 - 如今，CPU 与 IO 相比速度如此之快，以至于在存储数据之前压缩数据通常总体上更快(您可能真的想这样做)。我真的没有看到内存发挥重要作用(尽管您可能应该使用合理大小的缓冲区来确保您进行顺序写入)。

2. 二进制更紧凑(因此更快)。考虑到数据量，我怀疑人类可读是否有任何值(value)。文本格式的唯一优点是，如果它已损坏或您丢失了解析代码，则更容易找出并更正。