mysql - 如何从一个节点查询mysql，然后在spark上进行过滤？

Question

我想做这样的事情:

首先生成一个随机数，然后在mysql中查询。如果它存在于mysql数据库中，我将进一步在spark中搜索有关它的更多信息。

但是，如果我提交作业到spark集群，集群的每个节点都会生成不同的随机数，然后在mysql<中查询，然后在 spark 中搜索。我说得对吗？

我只想一台机器(节点)生成一个随机数并在mysql中查询它，然后在spark cluster中搜索它(如果mysql中存在)。

此外，上述过程应重复执行。

我该怎么做？任何帮助或提示将不胜感激。

Answer 1

在 Spark 程序的驱动程序中循环执行随机数生成和 MySQL 查询，然后针对每个结果从后续查询生成一个新的 Spark 作业。为了获得最佳性能，请异步执行此操作，然后您可以使用 Spark 的内置调度程序(在这种情况下 FIFO 可能更适合)来保持集群的高利用率。