apache-spark - java.lang.UnsupportedOperationException : Schema for type MyClass is not supported

Question

我正在使用 Spark 1.5.0，从我的 rdd 创建数据帧时遇到问题。

这是代码:

case class MyC (myclass: MyClass) 

  val df = rdd.map {t => MyC(t)}.toDF("cust")
  df.show()

这是错误消息:

Exception in thread "main" java.lang.UnsupportedOperationException: Schema for type MyClass is not supported

对此的任何帮助将不胜感激。

Answer 1

Spark 使用反射来推断数据帧模式，但不能对任意类这样做。我不确定我是否能比 Spark 文档更好地陈述答案，而且 there's a section dedicated to exactly this .

具体来说，问题在于 Spark 可以推断模式的类型数量有限。整数、字符串、序列/数组都受支持(以及包含这些类型元素的 case 类)，但任意类 MyClass不是。