druid - Apache Druid 中的中间持久化是什么？

Question

Druid 如何在将实时摄取的数据移交给深度存储之前保留它？

文档中Druid有intermedatepersistperiod和maxpendingpersists的配置。但它并没有太多说明什么是中间持久化，它是如何工作的。

从字面上看，我假设它会定期为内存中的实时数据保留数据。给定以小时/天为单位的分段粒度，如果没有机制在分段时间结束之前保留数据，则会产生可用性和可靠性问题。

Answer 1

好问题!对 persist 的调用在 Appenderator 接口(interface)中定义，该接口(interface)提供了有关如何为数据编制索引、如何将数据推送到深层存储以及如何在摄取期间持久保存数据的 API。方法“Appenderator.persistAll()”的注释 reads :

Persist any in-memory indexed data to durable storage. This may be only somewhat durable, e.g. the machine's local disk.

该函数默认定义在AppenderatorImpl.java中，其中persistAll()最终调用writeCommit()坚持下去，最终只是将值写入名为 commit.json 的 json 文件.

因此，为了回答您的问题，默认情况下，德鲁伊仅通过写入 Peon 的磁盘来持久保存实时摄取的数据。