ignite - 了解 Apache Ignite 的分布式连接

Question

我们正在探索在我们的项目中使用 Apache Ignite。基本上，我们有几十个 oracle 表。我们想将每个表加载到 Ignite Cache 中，然后在这些缓存之间进行连接。我们的表之间有很多连接(所以缓存之间会有很多分布式连接)。

不确定的是，使用亲和性搭配功能来搭配我们的数据可能真的很困难......如下所述:
https://apacheignite.readme.io/docs/affinity-collocation

所以，我想问一下，如果我们在缓存中的数据没有并置，那么 Ignite 分布式连接是否支持这一点(我们使用的是 Ignite 1.7.0)？我可以想象在进行连接时会有很多数据移动(这将与 Hadoop 上的 SQL 非常相似，例如 Hive 或 Spark SQL)

另外，我想知道非搭配分布式连接和 spark sql 之间的性能。

Answer 1

我要补充的是，如果您对 SQL 查询使用分布式非并置模式，那么这并不意味着数据将一直被愚蠢地移动。引擎将尽最大努力优化执行，甚至可能导致根本没有数据移动。但是，这取决于查询类型以及数据在集群中的分布方式。

在任何情况下，我的建议是尽可能多地搭配数据，以便您可以依靠性能最高的搭配模式，并在其余场景中回退到非搭配模式。

我确实相信非并置 Ignite 查询的性能仍会优于 Spark SQL 引擎的性能，这仅仅是因为 Ignite 允许您对数据进行索引，而 Spark 则没有，这是必不可少的。