file-io - 在 Julia 1.0.0 中将大型数字输出保存到 native 文件

Question

我正在尝试在 hpc-cluster 中运行程序。不幸的是，我无法在集群上安装外部软件包(例如 JLD2)。这是一个暂时的问题，应该得到修复。

我不想一直等待，我想知道是否有任何方法可以在没有外部依赖的情况下在 Julia 中保存大量输出(2-3 GB)。大多数输出​​是数字矩阵。我之前使用的是 JLD2，它以 HDF5 格式存储数据。

额外问题:是否有使用 shell 命令的解决方法，例如使用管道获取输出并使用 awk//grep 保存数据？ (类似于 julia -p 12 main.jl | echo "file")。

Answer 1

您可以尝试Serialization标准库。

要使用多个变量，您可以按顺序存储它们:

x = rand(10)
y = "foo"

using Serialization
# write to file
open("data.out","w") do f
    serialize(f, x)
    serialize(f, y)
end

# load from file
open("data.out") do f
    global x2, y2
    x2 = deserialize(f)
    y2 = deserialize(f)
end

或者您可以将它们放入 Dict 中，然后将其存储。