memory-management - 覆盖内存中的数据

Question

我用 Ocaml 编写了一个密码管理器。为了使其尽可能安全，我想以可以覆盖的方式将字符串(加密 key )存储在内存中。由于 Ocaml 是按值传递的，并且有一个垃圾收集器，这已被证明是困难的。我可以加密所有缓冲区和变量，但我仍然需要存储一个“ session key ”来执行此操作。为了防止自动 key 搜索程序检测到这种情况或将其放入交换中，它使用随机增量从缓冲区中的一堆随机数据组装而成。所以真的，我只需要一个单一的变量，在它被传递到 Nocrypto 库之前，它可以被组装的 key 覆盖几秒钟......引用是否适用于此？

根据这个cornell "Refs and Arrays" page , refs 是可变的，其工作方式类似于 C 中的指针。话虽如此，我还找到了讨论 Ocaml refs 的堆栈溢出答案。 ，其中答案提到“它们就像指向新分配内存的指针”。这是否意味着每次，它只是在内存中分配一个新的东西，而不是实际改变内存中的东西？如果是这样，你就不能真正“覆盖”一个引用。

我遇到的其他可能的解决方案是 Bigarrays 和“自定义块”。我不完全确定“自定义块”是否实际上是在垃圾收集范围之外分配的。他们似乎习惯于访问外部 C 代码。它们是否被垃圾收集器复制？它们会被“覆盖”吗？还有这种“不透明字节”和内存中不透明对象的想法。我很难想象这一切是如何组合在一起的。关于堆栈溢出内存中自定义块的有用但(对我而言)令人困惑的讨论在这里:Are custom blocks ever copied in memory?回答说他们可以四处移动。即便如此，它们也能被覆盖吗？

最后一个可能的解决方案是使用 Cstruct 来存储它，就像 Nocrypto 库似乎做的那样。他们在这个 github 问题中讨论了它:Secret material erasure提问者说:

"Granted, most key material is Cstruct.t, which is a Bigarray.Array1.t, which is allocated outside of the GC heap"

这甚至正确吗？如果是这样，我似乎无法找到实际执行此操作的源文件。总的来说，我对 Ocaml 和函数式编程很陌生。如果你好奇，我的程序位于 github 上: ocaml-pass

Answer 1

TL; 博士;

您不得在 OCaml 堆中存储任何 secret 信息。因此，您绝不能将您的 secret 复制到任何 OCaml 堆分配的值中，因此，字节、字符串或数组都不能使用，即使是临时的。

OCaml 内存模型介绍

OCaml 值统一表示为标记的机器字。字的最低有效位用作标记，区分指针(标记=0)和立即值(标记=1)。因此，值始终具有固定大小，并且是指针或立即数。

立即数将其数据存储在字的最高有效部分，即 32 位系统中的 31 位和 64 位系统中的 63 位。指针将它们的数据存储在块中，这些块位于所谓的 OCaml 堆中。 OCaml 堆是一组由垃圾收集器 (GC) 管理的块。块是带有标题前缀的数据块。标题指定了 GC 使用的数据大小和一些其他元信息。块可以包含 OCaml 值(指针或立即值)或不透明数据。

总结一下。所有 OCaml 值都表示为机器字，它们要么直接在字中存储数据，要么是指向堆分配块的指针。每个指针指向一个且仅一个块。多个指针可能指向同一个块。这些值在物理上被认为是相等的。有些块没有被任何指针指向。此类块称为死块，并由 GC 回收。

OCaml 垃圾收集器简介

GC 通过分配、移动和释放块来管理块。 GC 本身使用一个 arena，它要么从 C 内存分配器 (malloc) 获得，要么通过 memmap 系统调用直接从内核获得(取决于特定的系统和运行时)。

GC 是分代的，这意味着值首先分配在称为次要堆的堆的特殊区域中。次堆是固定大小的连续内存区域，在运行时用三个指针表示:指针 beg指向次堆开始的指针 end到次堆的末尾，以及指针 cur到次要堆的空闲区域的开始。分配块时，cur增加了块的大小。然后用数据初始化块。当次要堆中没有更多可用空间时(即 end - cur 小于所需的块大小)，则触发次要 GC 循环。 GC 分析存储在 Minor Heap 中的所有块，并复制由至少一个指向 Major Heap 的指针引用的所有块。之后，cur指针设置为 beg .

在主堆中，一个块在称为压缩的过程中也可能被复制多次。压缩器可能会尝试重新排列其领域中的块，以实现更紧凑的堆表示。

安全后果

由于 OCaml GC 是移动 GC，它可以任意复制堆分配的数据。虽说是搬家，其实也只是抄。即，当一个块从次堆移动到主堆时，它实际上只是位复制，因此被复制。次堆中的块幻影可能存在任意时间，直到它被某个新分配的值覆盖。在压缩期间移动对象时，它也会被复制，并且在此过程中可能会或可能不会被覆盖。而且，当然，不用说，一旦一个块死了，它仍然可以在堆中存活任意时间，直到被 GC 重用。

这一切都意味着，如果一个 secret 最终出现在 OCaml 堆中，它将变得疯狂，因为 GC 可以以任意且相当不可预测的方式多次复制它。因此，我们只能将 secret 存储在即时值或不受 GC 控制的区域中。如前所述，所有 OCaml 值都是指针，总是指向 OCaml 堆中的一个块。一个块可以直接包含数据，也可以包含一个指向内存堆外的指针本身。所谓的自定义块，可能会也可能不会将它们的信息存储在 OCaml 堆中，它取决于每个自定义块的特定表示。例如，Bigarray 库提供自定义块，将其有效负载存储在 OCaml 堆之外。因此 Bigarray 是一个自定义块，它有两个字段:指针和大小。它是一个不透明块，即 GC 永远不会将这两个值视为 OCaml 值，并且永远不会跟随大小和指针。指针指向的数据位于OCaml堆之外，或者由malloc分配。或通过 memmap (实际上，它可以是任意整数，甚至指向堆栈或静态数据，这并不重要，只要我们将 bigarray 视为 ptr,len 对即可)。

这一切使 Bigarrays 成为存储 secret 的理想选择。我们可以肯定的是，它们不会被 GC 移动，一旦它们被释放，我们可以覆盖它们以防止信息泄漏。

进一步的考虑

我们应该小心，永远不要让 secret 从我们安全的地方复制到 OCaml 堆中。这意味着，即使我们的主存储是一个安全的 bigarray，如果我们将其内容复制到 OCaml 字符串，信息仍然会泄漏。因此，如果我们先将信息读入 OCaml 字符串，然后将其复制到 bigarray 中，信息仍然会泄漏。因此，任何使用 OCaml 堆分配值的接口(interface)都是不安全的，不应使用。例如，我们不能使用 OCaml channel 来读取或写入 secret (我们应该依赖 Unix 模块提供的内存映射或无缓冲 IO)。再说一次，每当您收到 string来自 Bigarray 的数据类型，你会复制你的数据，以及所有的后果。