scala - 通过 Scala 读取 Spark 3 中的 netcdf 文件

Question

我用过SciSpark用于在 Spark 2.x 中读取大量 netcdf 文件。但是，我无法为 Spark 3.x 编译它(由于各种类型的错误，例如 cannot be applied to (Array[Int]), found : Array[Long] with required: Array[Int], cannot be applied to (AnyVal) 等)。甚至无法断定它是否与 Spark 3 兼容。任何人都可以建议是否:

• SciSpark 与 Spark 3 兼容，并且

• 在 Spark 3.x 中有 SciSpark 的替代品吗？

Answer 1

看起来像https://github.com/SciSpark/SciSpark未更新为使用 Spark 3，因为上次提交是 4 年前。