mysql - 在无模式数据库中使用 Protocol Buffer 进行序列化

Question

我们正在使用 MySQL 来存储无模式数据(请参阅:Using a Relational Database for Schemaless Data 了解受 FriendFeed 如何使用 MySQL 存储无模式数据启发的解决方案)。

一张大表包含我们应用程序的所有实体:

CREATE TABLE entities (
  added_id INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY
, id BINARY(16) NOT NULL
, body MEDIUMBLOB
, UNIQUE KEY (id)
) ENGINE=InnoDB ;

一些细节:

• 存储实体唯一需要的属性是 id，一个 16 字节的 UUID。实体的其余部分对数据库是不透明的。我们可以简单地通过在 body 中存储新属性来更改“模式”。

• 存在 added_id 列是因为 InnoDB 按主键顺序物理存储数据行。 AUTO_INCREMENT 主键确保新实体在旧实体之后按顺序写入磁盘，这有助于读/写局部性(新实体的读取频率高于旧实体)。

• 我们的数据库将我们的无模式数据存储在body 中。 <- 这就是本题的主题。

• 许多其他有趣的细节，例如“深入”body 数据以构建异步物化 View (索引只是离线构建的表)，但它们与当前的讨论...

我们应该如何序列化 body 中的结构化数据(键值对)？

JSON 或 BSON 会很简单，因为每一行的字段名称都是重复的。这使它在灵 active 方面具有优势，但在空间效率方面也有很大的劣势(序列化数据中字段名称的每行开销)。我们正在尝试将内容保存在内存中，并且最小化内存和网络占用空间在这里很重要。我们可以在同一个空间中容纳的记录越多，我们的查询就会越快。我们更喜欢相对较长的描述性字段名称，缩短它们以使我的数据库更快是错误的!

最后，JSON/BSON 对于我们的目的是行不通的，除非我们变得更复杂并将小键映射到与数据库对话的应用程序驱动程序中更具描述性的键。这让我们开始思考......

虽然我们的数据库是无模式的，但实际上:1) 没有太多不同种类的实体，2) 同一种类实体的版本不会经常改变，3) 当它们改变时，通常是只是为了添加另一个字段。 JSON/BSON 没有对版本控制的原生支持。

在版本控制和数据定义更改方面，Protocol Buffers 和 Thrift 要复杂得多。 Thrift 和 Protocol Buffers 都是将数据序列化到数据库中的理想选择，并且 Thrift 的设计使得编码格式是可扩展的。

Protocol Buffer 看起来是在无模式数据库中序列化数据的绝佳选择。

CouchDB 和 MongoDB(两个最流行的无模式数据库？)分别使用 JSON 和 BSON，但我们找不到任何关于使用更高级的东西(如 Protocol Buffers)作为序列化格式存储无模式数据。有些产品可以存储特定语言版本的对象(即，将 Java 的 Externalizable 对象存储在数据网格中，或者在 Ruby 中使用 MySQL 执行 NoSQL)，但这些很麻烦(尝试从其他平台访问它们，甚至从 MySQL 本身访问它们，忘记版本控制)。

是否有人在他们的数据库中存储了更具互操作性的 Protocol Buffer ，或者在他们的无模式数据库中存储了一些其他高级序列化格式？这是一个问题，除了直接对 JSON/BSON/XML 进行每行序列化或序列化特定语言的对象之外，是否还有其他选择。它甚至可行吗？我们错过了什么吗？ 抱歉意识流式的叙述!

Answer 1

正如您所发现的，MongoDB 和 CouchDB 对于您如何存储数据有着强烈的意见。如果您正在寻找一种与存储无关的方法，您会想要做一些像@Joshua 建议的事情并查看 Cassandra 或 HBase。甚至这两个数据存储也对数据的存储方式有自己的看法(它们都基于 Google's Bigtable )并将数据存储在 column families 中。 .

Riak使用 Protocol Buffer 作为将数据从应用程序序列化到数据存储区的一种方法。可能值得一试，看看它是否符合您的需求。看起来您主要计划进行单键查找，因此 Riak 可能是您解决方案的有力竞争者。