hadoop - 如何比较大数据中的复制

Question

问题陈述-

复制是工业上的常见任务，并且如果复制的数据库具有与原始数据库相同的数据，则复制对于验证复制同样重要。

示例-

我有数据库D1，出于测试目的，我将数据库D1复制到数据库D2。

复制完成后，我想验证两个数据库是否相同，这可以使用行级比较来完成，但是对于大型数据库来说，这是最糟糕的解决方案，其中数据长度可能以TB为单位。

这里的专家能否为此类实时挑战提供解决方案或任何提示？

Answer 1

Could experts here provide the solution?

每个数据库以不同的方式解决问题。使用的方法取决于数据库的体系结构。例子:

Cassandra architecture + a process resembling replication，

一些“事物”使用Merkle Trees。例如，可以将复制视为“git clone”命令。创建一个新副本。 Git架构使用Markle树连接它的“内部文件”，因此它是一种自我验证的解决方案。比特币区块链

也是如此

当需要“实时复制”(或更好)的分布式计算时，可以使用更高级的解决方案，例如Paxos。

(...) any hint for such realtime challenges?

我不确定您是否想问这些挑战是什么，所以以防万一:将一个数据库D1复制到D2很难比较，因为数据量很大，但最重要的是，因为D1在现实世界中场景是一个不断变化的“ Activity ”数据库。