sql - 如何将 ElasticSearch 查询传递给 hadoop

Question

我正在从事一个允许在 Hadoop 上进行搜索的项目。它的工作原理是首先将查询传递给 ES，然后将生成的 ID 传递回 SQL，如下所示:

SELECT ... WHERE id in [1,24,383,2912,...]

当我们有 100 或 1000 个 ID 传回 SQL-on-Hadoop 时，这很有效，但如果我们有 100K 或 1M+ id 传回，则效果不佳。将结果集(id 列表？)从 ES 传回 SQL 有哪些替代方法？

Answer 1

将所有 elastic search id 插入到一个单独的表中，然后将其与源表连接。

例如

CREATE TABLE ELASTIC_SEARCH_ID(id INT);

SELECT ... FROM SOURCE S JOIN ELASTIC_SEARCH_ID ES ON S.ID=ES.ID;