caching - Go:处理过多内存申请的最佳方式？ mmap，内存还是缓存？

Question

我有一个需要大约 600GB 内存的 Go 应用程序。将运行的机器有 128GB 的​​ RAM。我正在尝试决定如何最好地处理这个问题。

选项是:

1. 只需将所有内容加载到内存中(假设我有 600GB RAM)，然后让操作系统将内存中不常访问的部分分页到虚拟内存中。我喜欢这个想法，因为我不需要在代码中做任何特别的事情，操作系统会处理所有事情。但是，我不确定这是个好主意。

2. 将数据存储在磁盘上并使用 mmap(内存映射文件)，我猜这与上述类似，但需要更多编码。此外，这似乎意味着数据必须存储为 []byte ，然后在每次我需要使用它时进行解析，而不是已经以我需要的任何类型进行实际计算。

3. 构建一个缓存系统，将数据保存在 HDD 上，然后在需要时加载它，最常访问的数据保存在内存中，当超过内存限制时清除最不频繁访问的数据.

这些有什么优点和缺点？如果可能的话，我更愿意使用 (1)，因为它很简单……这有什么问题吗？

Answer 1

这完全取决于数据访问的性质。那600GB的访问会均匀分布吗？如果不是这种情况，那么将部分内容缓存在内存中并将其余内容保存在 HDD 上的解决方案可能就足够了，因为您有足够的 RAM 来缓存超过 20% 的数据。将所有内容都保存在虚拟内存空间中可能会带来令人惊讶的缺点，例如需要一个巨大的交换分区。

要在磁盘上缓存数据，您可以按照 Dave 的建议使用数据库引擎，因为它们通常可以很好地缓存最常访问的内容。您也可以使用 memcached ，用于在内存中缓存内容的库和客户端。

最重要的是，在不知道确切的使用模式的情况下优化性能是很困难的。幸运的是，有了 Go，您不必猜测。您可以测试和测量。

你可以定义一个类似于

的接口(interface)

type Index interface{
    Lookup(query string) Result
}

然后尝试所有解决方案，从最容易实现的开始。

type inMemoryIndex struct {...}

func (*inMemoryIndex) Lookup(query string) Result {...}

type memcachedIndex struct {...}

type dbIndex struct {...}

然后你可以使用Go's builtin benchmarking tools对您的应用程序进行基准测试，看看它是否符合您的标准。您甚至可以使用真实数据和模拟用户查询对该机器进行基准测试。

您假设 mmap 需要更多编码是正确的，所以我会在尝试所有其他选项之前保存它。