- mongodb - 在 MongoDB mapreduce 中,如何展平值对象?
- javascript - 对象传播与 Object.assign
- html - 输入类型 ="submit"Vs 按钮标签它们可以互换吗?
- sql - 使用 MongoDB 而不是 MS SQL Server 的优缺点
我知道至少有两个字节码增强器在运行时修改“对象模型”以允许透明地执行事务。其中一个是我每天在工作中使用的 Versant VOD 的一部分,另一个是 Terracotta 的一部分。可能还有很多其他的,例如在 ORM 中,但 Versant 在我的公司负责。
我的问题是,是否有这样的开源 API 可以独立使用,独立于它所设计的产品?你可以说一个“可破解”的 API。它应该只跟踪更改,而不是读取访问,这会显着减慢代码速度。换句话说,它不应该需要显式的读/写锁定。这需要访问所有执行更改的类,而不仅仅是数据模型,或者需要在内存中保留某种形式的“先前版本”以进行比较。
我要解决的问题是我在(NoSQL)数据库中“序列化”了“大”(32K 到 256K)对象图。它们是长期存在的,必须定期重新序列化以获取更改的“历史”。但是它们的序列化成本相当高,而且大多数更改都是很小的。
我可以每次都完全序列化它们并在流上运行二进制差异,但这听起来非常占用 CPU。更好的解决方案是使用 API 修改模型上的写入操作以对更改进行协议(protocol),以便在存储初始“图像”后,只需要存储协议(protocol)。
我发现了一些关于 Apache Commons Beanutils 比较对象的问题,但这对于就地更改没有用;我需要在每个“业务交易”之间对模型进行完整的克隆。
重申一下,我正在寻找一个“内存中”API,在同一个 JVM 中,它不涉及任何外部服务器应用程序。如果在 Win、Mac 和 Linux 上可用,涉及 native 代码的 API 是可以的。 API 目前不必打包独立;它只需要可以从“父项目”中提取出来形成一个独立的 API(父项目许可证必须允许这样做)。
我的对象图将涉及许多大型数组,因此需要有效地支持。
这些更改不仅用于审计,而且可以重放或撤消。更准确地说,使用反序列化的初始图和更改列表,我应该得到一个相同的结束图。此外,从结束图开始,应该可以通过反向应用更改返回到初始图。这使用完全相同的功能,但要求更改协议(protocol)在保留新值的同时保留旧值。
API 许可应与商业用途兼容。
[编辑] 到目前为止,我没有得到有用的答案,而且我想要的似乎也不存在。这让我只有一个选择:让它发生。当我有一个可行的实现时,我会在此处发布一个链接作为答案,因为这是我项目的下一步,没有它我无法继续。
[编辑] 我偶然发现了这个有点相关的问题:Is there a Java library that can "diff" two Objects?
最佳答案
Kryo v1 有一个序列化程序,它知道最后被序列化的数据并且只发出一个增量。读取时,它知道最后收到的数据并应用增量。增量是在字节级别上完成的。 Here是个序列化器。大部分工作由 this class 完成.这可以用于一些有用的方式,例如类似于 Quake 3 的网络。
这在 Kryo v2 中被省略了,因为 AFAIK 它从未被使用过。此外,它没有广泛的测试集。虽然可以移植并且可以做你需要的,或者作为你需要的基础。
上面还发布在 JVM 序列化程序 mailing list .
在对象级别执行此操作会有点棘手。您可以编写类似于 FieldSerializer 的内容。同时遍历两个对象图虽然这将是独立代码,而不是 Kryo 序列化程序。在每个级别,您都可以调用 equals。写一个字节,这样当你读的时候你就知道它是否相等。如果不等于,则使用 Kryo 编写对象。对于同一个对象,Equals 会被多次调用,尤其是对于深度嵌套的对象。
您可能会这样做的另一种方法是仅对标量和字符串执行上述操作,即仅对输出类写入的值执行上述操作。问题是走两个对象图。要使用 Kryo,我认为您必须复制所有序列化程序才能了解其他对象图。
您可能可以将 Kryo 与您自己的输出一起使用,该输出在列表中收集值而不是编写它们。使用它来“序列化”您的旧对象图。现在编写另一个版本的你自己的输出,它接受这个列表并用它来序列化你的新对象图。每次写入一个值时,首先检查它与列表中的下一个对象。如果等于,写一个 1。如果不等于,写一个 0,然后是值。
这可以通过两次使用第一个输出来提高空间效率,一次在旧图上,一次在新图上。现在你有两个值列表。使用这些来编写一个表示相等的位串。这节省了为每个值写入整个字节的空间,但具有额外列表的开销。最后,写出所有不相等的值。
要完成这个想法,您需要能够反序列化数据。您将需要一个您自己的 Input 类版本,该类从旧对象图中获取值列表。您的输入首先读取位串(或每个值一个字节)。对于相等的值,它从列表中返回值,而不是从数据中读取。如果一个值不相等,它会调用 super 方法从数据中读取。
我不确定这是否会比在字节级别上更快。如果我不得不猜测,我会说它可能会更快。将所有值存储在列表中将需要大量装箱/拆箱,并且这种方法仍然会分配所有字段,即使它们没有更改。我怀疑无论哪种方式性能都会成为问题,所以我可能只会选择更简单的方法。很难说那是什么...复活 delta 的东西或编写自己的输出/输入类。
如果您想回馈 Kryo,那当然很棒。 :)
关于java - 是否有对象更改跟踪/版本控制 Java API?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10044476/
大家好,我完成了这个基本的 C 程序,它向输入任何给定数字集的用户显示有序集、最小值、最大值、平均值和中值。我遇到的问题是,当我打印数字时,我必须使用诸如“3.2%f”之类的东西来设置标准的精度,我怎
我有这个基于 Python 的服务守护进程,它正在执行大量多路复用 IO(选择)。 从另一个脚本(也是 Python)我想查询这个服务守护进程的状态/信息和/或控制处理(例如暂停它、关闭它、更改一些参
我读到 Fortran 对表达式求值的顺序有严格的规则。对于某些数值算法来说,这一点非常重要。 数值 C 程序如何控制浮点运算的顺序并防止编译器“优化”到不需要的运算顺序,例如将 (a*b)*c 更改
上下文: 整个问题可以概括为我正在尝试复制调用system(或fork)的行为,但在 mpi 环境中。 (事实证明,你不能并行调用system。)这意味着我有一个程序在许多节点上运行,每个节点上有一个
我考虑过控制scanf来接受c中的任何输入。我的概念是等待10秒(或任何其他时间)来接受任何输入。10秒后它将退出并且不再接收任何输入。 int main(){ int a,b,c,d; sca
我正在尝试使用生成器停止 setTimeOut 上的执行流程。我究竟做错了什么?我无法让 console.log 每 1500 毫秒退出一次。我是 node 的新手,如果我在做一件非常愚蠢的事情,请不
我希望我的应用程序的 Activity 堆栈包含同一 Activity 的多个实例,每个实例处理不同的数据。因此,我将让 Activity A 在我的 Activity 堆栈中处理数据 a、b、c 和
我有这个 bash 文件,它向设备询问 OpenSSH 的 IP、密码等。 现在,如果我使用 ssh root@ip,我必须输入密码。这真的很烦人。第二;我不能让我的脚本向它发送命令。 这就是我想要的
我正在尝试测试我有权访问的机器的缓存属性。为此,我正在尝试读取内存并对其计时。我改变工作集大小和步幅访问模式以获得不同的测量值。 代码如下所示: clock1 = get_ticks() for (i
我正在尝试编写一个 makefile 来替换用于构建相当大的应用程序的脚本之一。 当前脚本一次编译一个文件,使用 make 的主要原因是并行化构建过程。使用 make -j 16 我目前在办公室服务器
我正在制作一个小的测试程序,它演示了一个粗糙的控制台界面。 该程序是一个低于标准的典型获取行、响应程序,它甚至不识别“退出”,并希望您通过按 control-c 强制退出。在 Mingw32 上完成。
好的,我有一个 VOIP 电话。我知道电话的 IP 地址和端口,并且可以完全访问电话,我正在使用它通过 SIP 中继调用 SIP 电话。 我基本上想随时查看手机上发生的事情,但我不知道从哪里开始。 如
是否可以指定 CWinApp::WriteProfileString() 使用的应用程序名称? 如果我使用 CWinApp::SetRegistryKey 将我的公司名称设置为“MyCompany”,
我正在尝试用 Python 控制 Tor。我在 stackoverflow 上阅读了其他几个关于这个主题的问题,但没有一个能回答这个问题。 我正在寻找一种方法,以便在命令运行时为您提供“新身份”、新
最近在做一个项目,涉及到iPhone设备和手表传输数据、控制彼此界面跳转,在网上找了很多资料,发现国内的网站这方面介绍的不多,而国外的网站写的也不是很全,所以在这写这篇文章,给大家参考一下,望大神指
我想增加图中值的范围。在示例中,值的范围从 50 到 200。但是,我需要按如下方式分配值:50 75 100 125 150 175 200 并且最好使用 scale_fill_gradientn
我有一个IconButton,当按下时波纹效果是圆形的并且比按钮的面积大,我怎样才能减少点击按钮时波纹效果的大小? IconButton( constraints
我正在使用代码契约(Contract)为我的项目生成附属程序集。基本上它为项目的 MyAssembly.dll 创建一个 MyAssembly.Contracts.dll。这应该放在你的程序集旁边,但
我想使用分面绘制图形,其中面板之间的边缘不同。面板按字母顺序自动排序(按照 ggplot 中的惯例)。一个简单的例子: library(igraph) library(ggraph) g <- mak
我想为我的 Android 应用程序创建一个小部件,以显示有关位置的一些实时详细信息,例如天气。但我想在任何时候允许最多 3 个小部件实例,每个实例都有不同的位置。我不确定该怎么做,也找不到任何信息。
我是一名优秀的程序员,十分优秀!