json - Flume - Solr 集成

Question

这是我的场景。

输入的 JSON 数据流向 Flume，它需要被索引并近乎实时地存储到 Solr 中。我正在使用最新的 CDH 版本。

我没有找到完整的文档。它在某些地方断开连接。

你能给我指明正确的方向吗？

• 我应该使用吗啡碱接收器并说不要进行任何转换吗？或者，如果我不想对 json 进行任何转换，我可以使用其他接收器直接写入 Solr 吗？
• 指向具有明确步骤的文档的指针
• 或者请以逐步的形式列出您将要做什么(当然，级别很高)。

Answer 1

这里有几点建议:

1) 如果您的源是 RabbitMQ，则 JMSSource 是正确的组件。

2) 除了编写您自己的 SOLR 自定义源，我建议使用 MorphlineSOLRSink，无需转换。它就像一个魅力。如果您不必转换或修改内容，您可以实现自己的自定义处理程序或使用拦截器。请记住，SOLR 记录的数量必须与您的源接收到的事件数量相对应。