elasticsearch - Logstash jdbc左外部联接作为子文档

Question

我正在使用Logstash jdbc插件将MySQL数据导入ElasticSearch。由于左外部连接，我最终为单个“父行”得到了多个“子行”。假设1个用户拥有1个或多个文档。我尝试对文档的文本进行group_concat，然后按用户ID分组，以每个用户保留1行。

但是，MySQL的group_concat的长度限制为1024 ...

有谁知道一种解决方案，可以完全克服group_concat并将左外部联接作为嵌套文档处理？

谢谢

Answer 1

默认值为1024，但是您可以使用以下命令增加GROUP_CONCAT的允许长度

SET SESSION group_concat_max_len = 102400

或您认为必要的任何长度(更多信息 in the official docs)

我在创建许多子对象/文档的复杂OUTER JOIN中使用它，到目前为止效果还不错。