hadoop - 编写水槽拦截器以从安慰中获取数据

Question

我想使用flume将数据从solace带到hadoop，有人可以让我知道如何编写拦截器以将protobuf转换为avro吗？

Answer 1

有一个非常详细的集成指南，描述了如何使用JMS Flume Source从Solace消息总线接收消息。

这是您使用的界面吗？

如果是这样，肯·巴尔(Ken Barr)的博客文章(https://solace.com/blog/devops/solace-as-flume-channel-technical-look)给出了Flume Source和Sink的实现。完整的源代码位于http://dev.solace.com/wp-content/uploads/solace-flume-channel.tgz

FlumeEventToSolaceMessageConverter.solaceToFlume()方法是您需要修改的方法，以支持将protobuf用于各种用例。 OOTB只是假设JMS消息的主体是avro消息。

在GitHub上，我们找到了一个protobuf到avro转换器(vpon / protobuf-to-avro)，该转换器使用.proto模式文件生成一个POJO转换器。