MongoDB-Spark 连接器在启动后立即关闭连接

Question

我使用的是 MongoDB 3.4.10 版、Spark 2.2.1 版和 MongoDB-Spark 连接器 2.2.1 版。

我有一个 scala spark 程序，它通过 MongoDB-Spark 连接器不断轮询 MongoDB 以获取新数据。我注意到，只有在我们的实时环境中，在第一次或第二次轮询之后程序才会挂起(不会崩溃只是停止，不再有日志输出)。

查看日志输出这是最后一行是:

18/08/02 11:13:59 INFO MongoClientCache: Closing MongoClient: [localhost:27017]
18/08/02 11:13:59 INFO connection: Closed connection [connectionId{localValue:4, serverValue:84}] to localhost:27017 because the pool has been closed.

我不确定是什么原因造成的。有没有其他人遇到过类似的事情？

编辑:添加轮询数据库的代码。

每次我需要轮询时，我都会像这样加载 mongoDB 数据:

//sc is SparkContext
val rdd = sc.loadFromMongoDB(ReadConfig(Map("uri"->twdbURI)))
return rdd.filter(doc => doc.getLong("time") > timestamp)

Answer 1

我找到了解决办法。我在具有 1 个核心的 VirtualBox VM 中运行我的 Spark 和 MongoDB 应用程序。将 VM 设置为具有 2 个内核可以解决此问题。看来是 Spark-MongoDB 失败了，没有报告错误。