mysql - Sqoop 功能已从 DSE 中删除

Question

我是 Cassandra 新手。在这里，我尝试使用 sqoop 将整个 MYSQL 数据库传输到 cassandra。但完成所有设置后，当我执行以下命令时。

bin/dse sqoop import-all-tables -m 1 --connect jdbc:mysql://127.0.0.1:3306/ABCDatabase --username root --password root --cassandra-thrift-host localhost --cassandra-create-schema --direct

我收到以下错误。

Sqoop functionality has been removed from DSE.

据说 sqoop 功能已从 datastax 中删除。请问如果它被删除了，还有其他方法可以做到这一点吗？

谢谢

Answer 1

您可以使用 Spark 传输数据 - 它应该很简单，例如:

val table = spark.read.jdbc(jdbcUrl, "table", connectionProperties)
table.write.format("org.apache.spark.sql.cassandra").options(
   Map("table" -> "TBL", "keyspace" -> "KS")).save()

jdbc URL、选项等的示例在 Databrick's documentation 中描述。因为不同的数据库它们可能会有所不同。