database-replication - 检测夜间捕获的增量记录？

Question

我有一个现有的 HANA 仓库，它是在没有创建/更新时间戳的情况下构建的。我需要生成一些夜间批处理增量文件以发送到另一个平台。我的问题是如何检测哪些记录是新的或更改的，以便我可以在复制过程中捕获这些记录。

有没有办法使用 HANA 的内置功能来检测新的/更改的记录？

Answer 1

SAP HANA 不提供表的通用更改数据捕获接口(interface)(直到当前版本 HANA 2 SPS 02)。
这意味着，要检测“自给定时间点以来更改的记录”，必须采取其他一些方法。

根据表中的信息，可以使用不同的选项:

• 如果表明确包含对上次更改时间的引用，则可以使用
• 如果表具有保证的更新特性(例如，没有就地更新和单调 ID 值)，则可以使用它。例如。读取 ID 大于最后处理的 ID 的所有记录
• 如果该表不提供有关更改时间的内在信息，则可以维护该表的副本，其中包含目前只有处理过的记录。然后可以使用此副本比较当前表并计算差异。 SAP HANA 的智能数据集成 (SDI) 流程图支持这种方法。

根据我的经验，在增量负载这个看似简单的问题上尝试“节省时间和金钱”的努力通常比使用相应的功能更复杂、更耗时且成本更高ETL 工具。