php - Elasticsearch - 我需要 JDBC 驱动程序吗？

Question

瞄准

将我的 elasticsearch 服务器与我的 SQL 数据库中的新数据和过期数据同步

问题

我有两种截然不同的方法可以实现这一点，我不知道哪种更好。我可以通过使用 JDBC river 插件直接连接到 SQL 数据库来拉 信息到 elasticsearch。或者，我可以使用 PHP 客户端将数据推送 到 elasticsearch，示例代码如下所示:

// The Id of the document
$id = 1;

// Create a document
$tweet = array(
    'id'      => $id,
    'user'    => array(
        'name'      => 'mewantcookie',
        'fullName'  => 'Cookie Monster'
    ),
    'msg'     => 'Me wish there were expression for cookies like there is for apples. "A cookie a day make the doctor diagnose you with diabetes" not catchy.',
    'tstamp'  => '1238081389',
    'location'=> '41.12,-71.34',
    '_boost'  => 1.0
);
// First parameter is the id of document.
$tweetDocument = new \Elastica\Document($id, $tweet);

// Add tweet to type
$elasticaType->addDocument($tweetDocument);

// Refresh Index
$elasticaType->getIndex()->refresh();

我打算每 30 分钟运行一次 cron，以检查数据库中不仅有“事件”标志而且没有“索引”标志的项目，这意味着我需要将它们添加到索引。

问题

看到我有两种方法以两种不同的方式在elasticsearch和mysql之间同步数据，每个选项的优点和缺点是什么。是否有一个特定的用例定义了使用一个而不是另一个？

Answer 1

我会使用河流方法，甚至认为内部构建解决方案可能更可定制。

一方面，jdbc-river 插件是一个已经构建好的插件，到目前为止它有大约 20 个贡献者。因此，在 Elasticsearch 本身不断改进的过程中，您有一个额外的团队致力于改进该工具。

您所要做的就是安装它，您甚至不需要复杂的配置来在集群和关系数据库之间设置一条河流。

jdbc-river 解决方案的另一个优点是您不需要处理内存管理。该插件可以在“拉模式”下作为河流运行，或在“推模式”下作为馈线运行。在 feeder 模式下，插件在单独的 JVM 中运行，并且可以连接到远程 Elasticsearch 集群。我个人更喜欢 river 模式，因为在这种情况下，Elasticsearch 会处理索引和内存管理问题。

关系数据在内部转换为结构化 JSON 对象，用于 Elasticsearch 文档的无模式索引模型。

两端都是可扩展的。该插件可以从不同的 RDBMS 源并行获取数据，多线程批量模式可确保索引到 Elasticsearch 时的高吞吐量。

此解决方案的缺点之一是它不会在完成索引时发出通知。作为解决方案，我建议您使用 Count API比较结果。

河流的另一个缺点是它不会在更新 时拉动，它只会在插入 或删除 时拉动。我指的当然是 sql 操作更新、插入和删除。

二手，您的解决方案可能会带来一些您可能需要考虑的优点和缺点。

您的解决方案是高度可定制的，因此您可以根据需要管理脚本。但是考虑到任何可用的 PHP Elasticsearch 客户端(Official Elasticseach-php Client、Elastica 或 FOSElasticaBundle)的当前状态，甚至认为这些人在它们上做得很好，它仍然被认为是一个不太成熟的 API 可以使用与用于河流的官方 Elasticsearch JAVA API 相比，在该级别上。

您还应该考虑处理所有可能导致集群因内存丢失、管理、性能等问题而出现的错误。

示例:我尝试使用 Elastica API 构建概念验证，将我的数据从我的数据库推送到我的集群，配置为 32g RAM，8 个内核，每个内核运行 @2.05GHz，在测试环境中，没有进入很多细节。我花了5个小时才把10M条记录从数据库推送到集群。与河流一样，同样的记录需要 20 分钟。当然，可以围绕我的代码进行优化，但我认为它可以给我带来更多的时间。

所以，只要能根据自己的需要定制河流，就用吧。如果河流不支持你想做的事情，那么你可以坚持自己的解决方案。

注意:当然，您可能还需要考虑其他要点，但这个主题在这里讨论的时间很长。所以我选择了一些你应该知道的重要点。