elasticsearch - 用于多个存储桶的 Couchbase/Elasticsearch 连接器

Question

有没有办法使用单个配置文件将 2 个或多个 couchbase 存储桶复制到 elasticsearch？

我实际上使用了这个版本的 couchbase elasticsearch 连接器:
https://docs.couchbase.com/elasticsearch-connector/4.0/index.html

我确实正确复制了我的数据，但每次都需要使用不同的配置文件 (.toml) 为每个存储桶运行一个命令。

由于指标端口 31415 已在使用中，因此无法在同一台服务器上多次运行 cbes 命令。

有没有办法一次处理多个连接器组？

Answer 1

在 4.0 版中，单个连接器进程只能从一个存储桶进行复制。这是因为索引规则和所有到 Couchbase 服务器的底层网络连接都被限定在存储桶级别。

当前的建议是创建多个配置文件并运行多个连接器进程。据了解，如果您要复制大量存储桶，则管理起来可能会很复杂。

如果您愿意发挥创意，您​​可以为多个存储桶使用相同的配置文件模板。这个想法是，您将编写一个包含一些占位符的配置文件，然后通过运行一个脚本来生成实际的配置文件，该脚本将占位符替换为每个连接器的正确值。

连接器的下一次更新将添加 built-in support for environment variable substitution in the config file .这可以使模板方法更容易。

以下是避免指标端口冲突的一些选项:

通过设置 httpPort 禁用指标报告键入[metrics]部分至-1 .

或通过将其设置为 0 来使用随机端口.

或者使用上面描述的模板思想，并在每个生成的配置文件中插入一个唯一的端口号。

值得一提的是， future 版本的连接器将支持我们称之为“ Autonomous Operations Mode”的东西。当连接器以这种模式运行时，配置将存储在一个中心位置(可能是 Consul 服务器)。可以即时重新配置连接器组，并向组添加或删除工作人员，而无需停止所有工作人员并编辑其配置文件。希望这将简化大型部署的管理。