java - 无法将 XMLTYPE 数据类型从 Oracle 加载到 Spark SQL

Question

我有 6700 万条 Oracle 记录，其中一些列 XMLType 作为数据类型。

我正在使用 Spark SQL 从 Oracle 中提取所有记录，但我得到了

datatype unsupported error

在 Spark 控制台中。

如何更改 XMLType 以便它可以成功将其加载到 Spark SQL 中？

我的计划是将所有这些记录从 Oracle 加载到 Apache HBase 我正在使用 Spark SQL 将加载加载到Apache HBase。

Answer 1

添加spark xml支持库如下坐标

groupId: com.databricks artifactId: spark-xml_2.11 version: 0.4.1

然后您可以将 XML 文件作为数据框获取，例如:

import org.apache.spark.sql.SQLContext
val sqlContext = new SQLContext(sc)
val df = sqlContext.read
        .format("com.databricks.spark.xml")
        .option("rowTag", "book")
        .load("books.xml")  

更多信息请看XML Data Source for Apache Spark

将其转换为数据框后，您可以在数据框上执行 spark sql。