- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
瞄准
将我的 elasticsearch 服务器与我的 SQL 数据库中的新数据和过期数据同步
问题
我有两种截然不同的方法可以实现这一点,我不知道哪种更好。我可以通过使用 JDBC river 插件直接连接到 SQL 数据库来拉 信息到 elasticsearch。或者,我可以使用 PHP 客户端将数据推送 到 elasticsearch,示例代码如下所示:
// The Id of the document
$id = 1;
// Create a document
$tweet = array(
'id' => $id,
'user' => array(
'name' => 'mewantcookie',
'fullName' => 'Cookie Monster'
),
'msg' => 'Me wish there were expression for cookies like there is for apples. "A cookie a day make the doctor diagnose you with diabetes" not catchy.',
'tstamp' => '1238081389',
'location'=> '41.12,-71.34',
'_boost' => 1.0
);
// First parameter is the id of document.
$tweetDocument = new \Elastica\Document($id, $tweet);
// Add tweet to type
$elasticaType->addDocument($tweetDocument);
// Refresh Index
$elasticaType->getIndex()->refresh();
我打算每 30 分钟运行一次 cron,以检查数据库中不仅有“事件”标志而且没有“索引”标志的项目,这意味着我需要将它们添加到索引。
问题
看到我有两种方法以两种不同的方式在elasticsearch和mysql之间同步数据,每个选项的优点和缺点是什么。是否有一个特定的用例定义了使用一个而不是另一个?
最佳答案
我会使用河流方法,甚至认为内部构建解决方案可能更可定制。
一方面,jdbc-river 插件是一个已经构建好的插件,到目前为止它有大约 20 个贡献者。因此,在 Elasticsearch 本身不断改进的过程中,您有一个额外的团队致力于改进该工具。
您所要做的就是安装它,您甚至不需要复杂的配置来在集群和关系数据库之间设置一条河流。
jdbc-river 解决方案的另一个优点是您不需要处理内存管理。该插件可以在“拉模式”下作为河流运行,或在“推模式”下作为馈线运行。在 feeder 模式下,插件在单独的 JVM 中运行,并且可以连接到远程 Elasticsearch 集群。我个人更喜欢 river 模式,因为在这种情况下,Elasticsearch 会处理索引和内存管理问题。
关系数据在内部转换为结构化 JSON 对象,用于 Elasticsearch 文档的无模式索引模型。
两端都是可扩展的。该插件可以从不同的 RDBMS 源并行获取数据,多线程批量模式可确保索引到 Elasticsearch 时的高吞吐量。
此解决方案的缺点之一是它不会在完成索引时发出通知。作为解决方案,我建议您使用 Count API比较结果。
河流的另一个缺点是它不会在更新 时拉动,它只会在插入 或删除 时拉动。我指的当然是 sql 操作更新、插入和删除。
二手,您的解决方案可能会带来一些您可能需要考虑的优点和缺点。
您的解决方案是高度可定制的,因此您可以根据需要管理脚本。但是考虑到任何可用的 PHP Elasticsearch 客户端(Official Elasticseach-php Client、Elastica 或 FOSElasticaBundle)的当前状态,甚至认为这些人在它们上做得很好,它仍然被认为是一个不太成熟的 API 可以使用与用于河流的官方 Elasticsearch JAVA API 相比,在该级别上。
您还应该考虑处理所有可能导致集群因内存丢失、管理、性能等问题而出现的错误。
示例:我尝试使用 Elastica API 构建概念验证,将我的数据从我的数据库推送到我的集群,配置为 32g RAM,8 个内核,每个内核运行 @2.05GHz,在测试环境中,没有进入很多细节。我花了5个小时才把10M条记录从数据库推送到集群。与河流一样,同样的记录需要 20 分钟。当然,可以围绕我的代码进行优化,但我认为它可以给我带来更多的时间。
所以,只要能根据自己的需要定制河流,就用吧。如果河流不支持你想做的事情,那么你可以坚持自己的解决方案。
注意:当然,您可能还需要考虑其他要点,但这个主题在这里讨论的时间很长。所以我选择了一些你应该知道的重要点。
关于php - Elasticsearch - 我需要 JDBC 驱动程序吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25763997/
我正在尝试为基于 arm 的板交叉编译驱动程序。在 make 文件中,包含文件的搜索路径是主机内核的路径,即它指向 ubuntu 附带的 linux 头文件。我在主机系统(i7/ubuntu)上也有目
1、准备材料 开发板(正点原子stm32f407探索者开发板V2.4) 。 STM32CubeMX软件(Version 6.10.0) 。 野火DAP仿真器 。 keil µVis
是否可以通过 c# 应用程序“驱动”excel(即从 excel gui 下拉列表中选择某些内容,按下按钮并读取特定单元格的内容)? 这并不是真正用于测试,而是用于类似于 selenium 的数据报废
给定任何具有超过 5 个 View 和 View 模型的中间 MVVM 应用程序,是否有任何推荐的设计模式来说明如何为此类应用程序搭建脚手架? 现在我通常有一个在 App.OnStartup 中创建的
我想知道如何使用曼哈顿距离启发式来驱动 NxN 二维数组中的搜索。我有以下曼哈顿距离: private int manhattan(int[] pos, int tile) { int
我试图了解 CUmodule 在 CUDA 驱动程序 API 函数中实际上代表什么。 许多 CUDA 驱动程序 API 函数都有一个 CUmodule 句柄,但它是什么?它是引导驱动程序调用过程的 d
我正在尝试创建一个 java 程序,它将创建 excel 文件并将其上传到谷歌驱动器中。上传后我需要它来授予权限。我已经完成了所有这些,但问题在于尝试将 excel 文件转换为 google 文件,以
我正在拼命尝试从 Linux(Raspbian 内核 4.4.12-v7+)与使用 TIUSB3410 USB 部件的设备进行通信。 这是 dmesg 的输出: [ 2730.016013] usb
我有一个关于在 PCIe 上使用突发读写的问题。我有一个 fpga,它通过 PCIe 连接到 cpu。我有一个简单的驱动程序,仅用于测试。驱动程序向 FPGA 写入数据以及从 FPGA 读取数据。 f
我有大约 500 条通往特定页面的可能路径,我需要测试所有这些路径。该页面的每个路径看起来都类似于此(使用 PHP 网络驱动程序;通常有大约 10 个步骤): // Navigate to form
如果chrome驱动的版本和当前的chrome版本不同,我想写一个python代码,下载并运行与当前chrome版本匹配的chrome驱动。 这就是我一直在寻找的东西 driver = webdriv
我在 Centos 7 Linux 机器上尝试通过 pyodbc 连接到 SQL 数据库。我了解到您需要设置 DSN,您可以通过安装 freetds 驱动程序并执行以下操作来实现: import py
是否可以使用 NUnit 通过 NDepend 运行 CQL 查询?如果能够将 NDepend dll 包含在 UnitTests 库中并编写如下测试,那就太好了: [Test] public voi
我在 cassandra 中有巨大的表,超过 20 亿行并且还在增加。这些行有一个日期字段,它遵循日期桶模式以限制每一行。 即便如此,对于某个特定日期,我也有超过一百万条条目。 我想尽快读取和处理每一
考虑以下示例,其中一个模块的输出 (inner::out) 应该驱动两个输出(outer::out 和 outer::out2) 的上层层次: #include SC_MODULE(inner) {
我不确定是否可以有一个具有多个 MySQL 根的连接器。当我尝试只使用一根根时,它效果完美。我的有 2 个根的代码如下所示: [ 'locale' => 'es_ES.UTF-8',
我的桌面APP无法注册Mysql JDBC驱动 我下载mysql-connector-java-5.1.16.zip 解压mysql-connector-java-5.1.16-bin.jar并将其放
我有一个无限循环等待输入的 python 脚本,然后输入发生时做一些事情。我的问题是制作 python告诉 emacs 做某事。我只需要一些方法来发送 emacs 输入并让 emacs 评估该输入。
我最初问的没有明确说明我的问题/问题,所以我会更好地解释它。我有一个将 JDialog 设置为可见的 JButton。 JDialog 有一个 WindowListener 将其设置为在 window
假设“doc”是我想插入到 MongoDB 集合中的一些文档,而“collection”是我要将文档插入到的集合。 我有如下内容: try { WriteConcern wc = new Wr
我是一名优秀的程序员,十分优秀!