c# - 保存大量外汇金融报价数据的最佳方式

Question

我有很多外汇报价数据要保存。我的问题是什么是最好的方法？

这是一个例子:我只从 EURUSD 对收集 1 个月的数据。它最初是 CSV 文件，大小为 136MB，有 2465671 行。我使用由以下人员编写的库:http://www.codeproject.com/Articles/9258/A-Fast-CSV-Reader读取所有报价并将其保存在 2465671 个对象中大约需要 30 秒。首先，是否足够快？

其次，有没有比CSV更好的方法？例如，二进制文件可能更快，您是否对最好的数据库有什么建议？我尝试了 db4o，但它不是很令人印象深刻。我认为这里有一些开销将数据保存为对象的属性，以及当我们必须在 db4o 的 Yap 文件中保存 2465671 个对象时。

Answer 1

我之前考虑过这个问题，如果我收集这些数据，我会分解这个过程:

1. 从提要中收集数据，形成一行(我会使用固定宽度)，然后将其附加到一个文本文件中。
2. 我会每分钟创建一个新的文本文件并将其命名为 rawdata.yymmddhhmm.txt
3. 然后我会让另一个进程在后台读取这些文件，然后通过参数化插入查询将其插入数据库。

我可能会在二进制文件上使用文本，因为我知道追加不会有任何问题，但我也会考虑打开二进制文件进行追加。这实际上可能会好一点。

此外，您希望以追加模式打开文件，因为这是写入文件的最快方式。这显然需要超快。