fiware - 在 Cygnus 中使用 Parquet 格式

Question

我想以 Parquet 格式存储事件数据(例如，在 HDFS 上)。我需要修改相应接收器的代码，还是有办法解决？例如，使用 Flume 拦截器。谢谢。

Answer 1

一方面，有一个 issue关于 Cygnus 修改代码时考虑到在写入 HDFS 时支持多种输出格式的目标。修改已完成，但只对我们自定义的 Json 和 CSV 格式进行了编码。这意味着代码已准备好进行修改以添加第三种格式。我添加了一个 new issue关于 OrionHDFSSink 上的特定 Parquet 支持；如果您最终决定进行修改，我可以将问题分配给您 :)

另一方面，您始终可以使用 native HDFS 接收器(保留所有通知主体)，并有效地编写自定义拦截器。

如您所见，在这两种情况下，您都必须编写 Parquet 部分的代码(或者等到我们有足够的空间来实现它)。