elasticsearch - Elasticsearch:索引推文-映射，模板或ETL

Question

我准备将来自Apache NiFi的推文索引为POST，并希望执行以下操作:

将create_at字段设置为日期。我应该为此使用映射或索引模板吗？

使某些字段未分析。像主题标签，URL等。

不想存储整个推文，而是要存储一些重要字段。类似于文本，不是所有用户信息，而是某些字段，主题标签，来自实体的URL(在发布URL中)。不需要引用源。等等。
在这种情况下我应该使用什么？模板？用某些ETL流程预处理推文，以提取我需要的数据并在ES中建立索引？

我有点困惑。将不胜感激建议。

提前致谢。

Answer 1

我猜在您的NiFi中，您已经配置了GetTwitter和PostHTTP之类的东西。 NiFi已经是某种ETL，因此您可能不需要其他ETL。但是，由于您不想索引来自Twitter的整个JSOn，因此您显然需要在两者之间进行另一个NiFi流程来选择所需内容，并将原始JSON转换为另一个更轻量的JSON。 Here是有关如何对Solr执行此操作的示例，但是我不确定Elasticsearch是否使用相同的处理器。

关于使用Logstash将Twitter数据流传输到Elasticsearch的This article显示了一个可能的索引模板，您可以使用该模板来塑造自己的索引模板(即，根据需要添加create_at数据字段)。

因为您不想为所有内容建立索引，所以为您准备的方法显然是提出自己的映射，然后可以在索引模板中使用它。使用索引模板，您将可以根据需要创建每日/每周/每月的twitter索引。