- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我们正在使用 MySQL 来存储无模式数据(请参阅:Using a Relational Database for Schemaless Data 了解受 FriendFeed 如何使用 MySQL 存储无模式数据启发的解决方案)。
一张大表包含我们应用程序的所有实体:
CREATE TABLE entities (
added_id INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY
, id BINARY(16) NOT NULL
, body MEDIUMBLOB
, UNIQUE KEY (id)
) ENGINE=InnoDB ;
一些细节:
存储实体唯一需要的属性是 id
,一个 16 字节的 UUID。实体的其余部分对数据库是不透明的。我们可以简单地通过在 body
中存储新属性来更改“模式”。
存在 added_id
列是因为 InnoDB 按主键顺序物理存储数据行。 AUTO_INCREMENT 主键确保新实体在旧实体之后按顺序写入磁盘,这有助于读/写局部性(新实体的读取频率高于旧实体)。
我们的数据库将我们的无模式数据存储在body
中。 <- 这就是本题的主题。
许多其他有趣的细节,例如“深入”body
数据以构建异步物化 View (索引只是离线构建的表),但它们与当前的讨论...
我们应该如何序列化 body
中的结构化数据(键值对)?
JSON 或 BSON 会很简单,因为每一行的字段名称都是重复的。这使它在灵 active 方面具有优势,但在空间效率方面也有很大的劣势(序列化数据中字段名称的每行开销)。我们正在尝试将内容保存在内存中,并且最小化内存和网络占用空间在这里很重要。我们可以在同一个空间中容纳的记录越多,我们的查询就会越快。我们更喜欢相对较长的描述性字段名称,缩短它们以使我的数据库更快是错误的!
最后,JSON/BSON 对于我们的目的是行不通的,除非我们变得更复杂并将小键映射到与数据库对话的应用程序驱动程序中更具描述性的键。这让我们开始思考......
虽然我们的数据库是无模式的,但实际上:1) 没有太多不同种类的实体,2) 同一种类实体的版本不会经常改变,3) 当它们改变时,通常是只是为了添加另一个字段。 JSON/BSON 没有对版本控制的原生支持。
在版本控制和数据定义更改方面,Protocol Buffers 和 Thrift 要复杂得多。 Thrift 和 Protocol Buffers 都是将数据序列化到数据库中的理想选择,并且 Thrift 的设计使得编码格式是可扩展的。
Protocol Buffer 看起来是在无模式数据库中序列化数据的绝佳选择。
CouchDB 和 MongoDB(两个最流行的无模式数据库?)分别使用 JSON 和 BSON,但我们找不到任何关于使用更高级的东西(如 Protocol Buffers)作为序列化格式存储无模式数据。有些产品可以存储特定语言版本的对象(即,将 Java 的 Externalizable 对象存储在数据网格中,或者在 Ruby 中使用 MySQL 执行 NoSQL),但这些很麻烦(尝试从其他平台访问它们,甚至从 MySQL 本身访问它们,忘记版本控制)。
是否有人在他们的数据库中存储了更具互操作性的 Protocol Buffer ,或者在他们的无模式数据库中存储了一些其他高级序列化格式?这是一个问题,除了直接对 JSON/BSON/XML 进行每行序列化或序列化特定语言的对象之外,是否还有其他选择。它甚至可行吗?我们错过了什么吗? 抱歉意识流式的叙述!
最佳答案
正如您所发现的,MongoDB 和 CouchDB 对于您如何存储数据有着强烈的意见。如果您正在寻找一种与存储无关的方法,您会想要做一些像@Joshua 建议的事情并查看 Cassandra 或 HBase。甚至这两个数据存储也对数据的存储方式有自己的看法(它们都基于 Google's Bigtable )并将数据存储在 column families 中。 .
Riak使用 Protocol Buffer 作为将数据从应用程序序列化到数据存储区的一种方法。可能值得一试,看看它是否符合您的需求。看起来您主要计划进行单键查找,因此 Riak 可能是您解决方案的有力竞争者。
关于mysql - 在无模式数据库中使用 Protocol Buffer 进行序列化,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/4272941/
对此感到疯狂,真的缺少一些东西。 我有webpack 4.6.0,webpack-cli ^ 2.1.2,所以是最新的。 在文档(https://webpack.js.org/concepts/mod
object Host "os.google.com" { import "windows" address = "linux.google.com" groups = ["linux"] } obj
每当我安装我的应用程序时,我都可以将数据库从 Assets 文件夹复制到 /data/data/packagename/databases/ .到此为止,应用程序工作得很好。 但 10 或 15 秒后
我在 cc 模式缓冲区中使用 hideshow.el 来折叠我不查看的文件部分。 如果能够在 XML 文档中做到这一点就好了。我使用 emacs 22.2.1 和内置的 sgml-mode 进行 xm
已结束。此问题不符合 Stack Overflow guidelines .它目前不接受答案。 我们不允许提出有关书籍、工具、软件库等方面的建议的问题。您可以编辑问题,以便用事实和引用来回答它。 关闭
根据java: public Scanner useDelimiter(String pattern) Sets this scanner's delimiting pattern to a patt
我读过一些关于 PRG 模式以及它如何防止用户重新提交表单的文章。比如this post有一张不错的图: 我能理解为什么在收到 2xx 后用户刷新页面时不会发生表单提交。但我仍然想知道: (1) 如果
看看下面的图片,您可能会清楚地看到这一点。 那么如何在带有其他一些 View 的简单屏幕中实现没有任何弹出/对话框/模式的微调器日期选择器? 我在整个网络上进行了谷歌搜索,但没有找到与之相关的任何合适
我不知道该怎么做,我一直遇到问题。 以下是代码: rows = int(input()) for i in range(1,rows): for j in range(1,i+1):
我想为重写创建一个正则表达式。 将所有请求重写为 index.php(不需要匹配),它不是以/api 开头,或者不是以('.html',或'.js'或'.css'或'.png'结束) 我的例子还是这样
MVC模式代表 Model-View-Controller(模型-视图-控制器) 模式 MVC模式用于应用程序的分层开发 Model(模型) - 模型代表一个存取数据的对象或 JAVA PO
我想为组织模式创建一个 RDF 模式世界。您可能知道,组织模式文档基于层次结构大纲,其中标题是主要的分组实体。 * March auxiliary :PROPERTIES: :HLEVEL: 1 :E
我正在编写一个可以从文件中读取 JSON 数据的软件。该文件包含“person”——一个值为对象数组的对象。我打算使用 JSON 模式验证库来验证内容,而不是自己编写代码。符合代表以下数据的 JSON
假设我有 4 张 table 人 公司 团体 和 账单 现在bills/persons和bills/companys和bills/groups之间是多对多的关系。 我看到了 4 种可能的 sql 模式
假设您有这样的文档: doc1: id:1 text: ... references: Journal1, 2013, pag 123 references: Journal2, 2014,
我有这个架构。它检查评论,目前工作正常。 var schema = { id: '', type: 'object', additionalProperties: false, pro
这可能很简单,但有人可以解释为什么以下模式匹配不明智吗?它说其他规则,例如1, 0, _ 永远不会匹配。 let matchTest(n : int) = let ran = new Rand
我有以下选择序列作为 XML 模式的一部分。理想情况下,我想要一个序列: 来自 my:namespace 的元素必须严格解析。 来自任何其他命名空间的元素,不包括 ##targetNamespace和
我希望编写一个 json 模式来涵盖这个(简化的)示例 { "errorMessage": "", "nbRunningQueries": 0, "isError": Fals
首先,我是 f# 的新手,所以也许答案很明显,但我没有看到。所以我有一些带有 id 和值的元组。我知道我正在寻找的 id,我想从我传入的三个元组中选择正确的元组。我打算用两个 match 语句来做到这
我是一名优秀的程序员,十分优秀!