json - ElasticSearch JSON期望

Question

我需要ElasticSearch的基本定义和使用期望。
我有一个不断增长的基于CSV分隔数据的文件夹(在文件中)。

Elasticsearch喜欢JSON。我明白了，而且我可以毫无问题地将它们转换过来。

我需要知道的是:是否需要将每个CSV行都放在它自己的file.json文件中才能考虑建立索引？那是什么文件？还是将JSON条目批量堆叠到单个文件中并运行它们以建立索引？ json条目是文档吗？还是ElasticSearch看到的文件file.json？

谢谢。

Answer 1

基本上，每个CSV行一旦转换为JSON都被视为文档。现在，您有一些选择。

答:您可以使用csv过滤器将CSV文件和use Logstash to consume it保持不变，并将生成的JSON文档发送到Elasticsearch。

B.您可以将CSV文件转换为另一个文件，其中每个CSV行都转换为一个单行JSON文档，即

代替

Col1,Col2,Col3
Cell11,Cell12,Cell13
Cell21,Cell22,Cell23

你有

{ "Col1": "Cell11", "Col2": "Cell12", "Col3": "Cell13" }
{ "Col1": "Cell21", "Col2": "Cell22", "Col3": "Cell23" }

但是您仍然需要在Elasticsearch中使用 Logstash in order to load that multi-JSON file

C.最后一个选择是将CSV文件转换为如下所示的所谓的 bulk file:

{ "index": {}}
{ "Col1": "Cell11", "Col2": "Cell12", "Col3": "Cell13" }
{ "index": {}}
{ "Col1": "Cell21", "Col2": "Cell22", "Col3": "Cell23" }

然后，您可以通过 Bulk API使用单个命令加载该文件。