C:数据库对于小文件来说太强大了？

Question

我正在使用 C 语言开发一个科学应用程序，用于发送指令告诉设备执行实验，然后从该实验中读取数据，特别是用于自动化该功能，以便在很大程度上无需我的输入即可执行。

目前我将脉冲程序和数据文件存储为 ASCII 文件，但是这有两个问题 - 第一个是我发现当我将数据文件加载到 matlab 矩阵中并从 matlab 中保存它们时，然后稍后再读入它们，从 ASCII 文件读取比从 .mat 文件读取要长 100 倍——这与我以前的经验相吻合，这些 ASCII 读/写操作是我程序中最慢的部分。第二个问题是，每当我尝试增加程序的通用性时，我都必须为文件的存储创建一个新的格式规范，这很烦人。

我正在考虑寻找一个 SQL 库并将所有内容存储为关系数据库，但根据我对数据库的了解，您并不打算创建大量小型数据库(数据文件可能在 50k 到 50M 之间，程序文件非常小)。我真的在寻找类似 Matlab save() 函数的东西，我可以在其中将 struct() 变量转储到文件中，然后按名称读出。数据库会让这件事变得足够简单，但似乎必须有一种更量身定制的方式来以这种方式存储文件。有什么建议么？

编辑抱歉，这里的语言含糊不清。我试图不陷入细节的泥潭，以便这个问题可以有更广泛的适用性，但我现在看到了其中的愚蠢之处。这正是我所做的:

从保存在文件中的脉冲程序开始，以下是我正在执行的步骤:

1.) 从如下所示的 ASCII 文件中读取脉冲程序:

#ValidPulseProgram#
NInstructions= 15
NTransients= 1
DelayTime= 0.000000
TriggerTTL= 0

NPoints= 2000
SamplingRate= 2000.000000

PhaseCycle= 0
NumCycles= 4
CycleInstr= 2
CycleFreq= 60.000000

Dimensions= 2 
[Point]
IndirectDim 1 - 1 of 51

[Instructions]
Instruction 0 0 4 0 0 10.000000 1000000000.000000
                ...
Instruction 2 0 266 0 0 750.000000 1000000.000000
Instruction 14 0 4 1 0 100.000000 1000000.000000
[EndInstructions]


nVaried= 1

VaryInstr 0 5 0 -1.000000 24 -1.000000 1200 -1.000000 1

这是逐行读出并放入包含所有信息的结构中。

2.) 将结构发送到程序，该程序将其转换为设备可读的内容，设备设置时间等并开始实验。

3.) 数据进入并存储在 ASCII 文件中，这些文件的标题包含所使用的程序，以及有关采集的一些其他信息。每次采集都存储为单独的 ASCII 文件。有时有数千个这样的文件，组织在文件夹层次结构中。

4.) 稍后，我希望能够从 ASCII 文件中读出。我要么从我正在处理的这个 C 程序中读出它们，要么我使用将它们读入 matlab 变量的 Matlab 脚本读出它们(用于更深入的数据分析)。该脚本的最后一步是调用 save() 以保存 .mat matlab 文件。对于每个包含 1000 个点的 50 个文件的采集，大约需要 10-30 秒才能将所有数据放入一个数组中。如果我将该数组保存到 .mat 文件，然后将其读入工作区，则需要几毫秒。

所以这两个问题是第 4 步。) -> 我应该立即保存这些，以便我可以在几毫秒内读出它们，因为从文件中读取几 MB 不应该花费 30 秒，然后步骤1.)，我想将该 ASCII 文件更改为类似包含结构的二进制文件。

Answer 1

MATLAB 有一个 C/C++ 和 Fortran API 库，其中包括 MAT-File Library .这将是最明显的解决方案。

当读取 ASCII 文件时，MATLAB 可能会将每个值添加到矩阵变量而先验不知道最终大小，因此它会不断地分配、重新分配和移动数据随着矩阵大小的增长在内存中 - 对于大型数据集，这通常会涉及虚拟内存磁盘交换，并且可能非常慢。无论哪种方式，它都是缓慢且不确定的。读取 .MAT 文件时，它会分配一次正确的大小并一次性加载数据。