julia - 一种类似数组或向量的类型，其值存储在 Julia 中的磁盘上

Question

我正在寻找具有以下属性的类数组类型:

• 在磁盘上存储元素
• 元素可以有复合类型
• 元素被读入内存，而不是整个数组
• 可以在不写入整个数组的情况下写入单个元素
• 支持setindex!、getindex、push!、pop!、shift!、unshift! 可能还有 vcat
• 相当高效

到目前为止，我已经找到了以下线索:

https://docs.julialang.org/en/latest/stdlib/SharedArrays/

http://juliadb.org

https://github.com/JuliaIO/JLD.jl

第一个似乎很有希望，但元素的类型似乎必须是 isbits(意思是一个简单的数字，一些结构但不是，例如，一个 Array{Float64,1 })。并且不清楚是否将整个数组内容加载到内存中。

如果还没有，我当然会尝试自己构建。

Answer 1

NCDatasets.jl 解决了部分需求:

• 在磁盘上存储元素:是
• 元素可以有复合类型:否(虽然 NetCDF4 中有一些对复合类型的支持，但 NCDatasets.jl 中还没有)。目前，您只能拥有基本类型的数组和(基本类型的)向量数组。
• 元素被读入内存，而不是整个数组:是
• 可以写单个元素而不写整个数组支持 setindex!, getindex, push!, pop!, shift!, unshift!也许 vcat:只是 setindex!, getindex
• 相当高效:效率对我来说是合理的:-)

自己做的项目听起来很有意思。我认为这肯定会填补当前生态系统中的空白。

一些可能值得一看的存储技术是:

• HDF5(用于存储、跨平台和跨语言)
• JLD2(JLD 的后继者)https://github.com/simonster/JLD2.jl
• rasdaman(数组的“数据库”)http://www.rasdaman.org/
• 可能还有 BSON http://bsonspec.org/

也许您还可以联系 JuliaIO 小组。