java - 如果我使用 golang 编写一个 NoSQL 数据库，但想在其上运行 Hadoop mapreduce，我会遇到什么困难？

Question

我想用golang搭建一个分布式的NoSQL数据库或者key-value store，学习golang和实践我在学校学到的分布式系统知识。我能想到的目标用例是在其上运行 MapReduce，并实现一个与 HDFS 兼容的“文件系统”以将数据公开给 Hadoop，类似于在 Ceph 和 Amazon S3 上运行 Hadoop。

我的问题是，将这样一个 NoSQl 数据库与 Hadoop 集成应该遇到什么困难？或者与其他语言集成(例如，提供Ruby/Python/Node.js/C++ API？)如果我使用golang构建系统。

Answer 1

好吧，我不是一个 Hadoop 用户，所以我会给你一些关于你将面临的问题的更一般的经验教训:

1. 协议(protocol)。如果您使用 REST Go 会很好，但期望在默认 HTTP 库的默认设置中找到一些陷阱(不会使空闲保持 Activity 连接过期，不一定知道读者何时关闭流)。但是，如果您想要更紧凑的东西，请知道:上次我检查过，Go 的 Thrift 实现缺乏并且相对较慢。 b. Go 对 RPC 有很好的支持，但它可能不适用于其他语言。因此，您可能想要查看 protobuf，或者在 redis 协议(protocol)或类似协议(protocol)之上工作。

2. GC。 Go 的 GC 非常简单(STW，不是分代的，等等)。如果您计划按多个 G 的顺序进行大量内存缓存，则预计 GC 会在所有地方暂停。有一些技术可以减少 GC 压力，但直接的 Go 习语通常不会为此进行优化。

3. Go 中的 mmap 并不简单，因此如果您想利用它会有点困难。

4. 除了 slice 、列表和映射之外，您不会有很多内置数据结构可供使用，例如 Set 类型。它们有很多很好的实现，但您必须进行一些挖掘。

5. 花时间学习 Go 中的并发模式和接口(interface)模式。它与其他语言有点不同，根据经验，如果您发现自己在使用其他语言的模式时遇到困难，那么您可能做错了。恕我直言 http://www.youtube.com/watch?v=QDDwwePbDtw 关于 Go 并发的一个很好的讨论

您可能想看看的一些项目:

1. Groupcache - 由 Brad Fitzpatrick 用 Go 语言编写的分布式键/值缓存，供 Google 自己使用。它是 Go 中简单但 super 健壮的分布式系统的一个很好的实现。 https://github.com/golang/groupcache并查看 Brad 的介绍:http://talks.golang.org/2013/oscon-dl.slide

2. InfluxDB 包含基于 Go 版本的出色 Raft 算法:https://github.com/influxdb/influxdb

3. 我自己不起眼的(几乎已经死了)项目，一个基于插件架构的 redis 兼容数据库。 My Go 从那以后有了改进，但它有一些不错的部分，它包括一个非常快速的 redis 协议(protocol)服务器。 https://bitbucket.org/dvirsky/boilerdb