java - Scala - 如何返回这种 RDD 类型

Question

我尝试使返回 RDD 的方法引用 this ，但失败了，因为返回需要参数。根据 API (Java)，这是我的代码:

def HBaseToRDD(_HBaseConfiguration:HBaseConfiguration, _sc:SparkContext) : RDD[(K, V)] = 
{
val HBaseRDD = _sc.newAPIHadoopRDD(_HBaseConfiguration, classOf[TableInputFormat],
            classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable],
            classOf[org.apache.hadoop.hbase.client.Result])
}

有解决这个问题的想法吗？提前致谢...

Answer 1

由于 Yuval Itzchakov 已经提到缺少关于 K 和 V 的信息，此外我观察到以下内容:

1. 您的方法中缺少返回值
2. 即使您返回 val HBaseRDD 代码仍然无法编译，因为预期返回值的类型为 RDD[(K, V)] 但 val HBaseRDD 的类型为 RDD[(org.apache.hadoop.hbase.io.ImmutableBytesWritable, org.apache.hadoop.hbase.client.Result)]

考虑到这一点和一些假设，工作代码示例可能如下所示:

def HBaseToRDD[K, V](_HBaseConfiguration:HBaseConfiguration, _sc:SparkContext) : RDD[(K, V)] =
{
  def toK(key: org.apache.hadoop.hbase.io.ImmutableBytesWritable): K = {
    // here you convert key to K
  }

  def toV(row: org.apache.hadoop.hbase.client.Result): V = {
    // here you convert row to V
  }

  // no need to assign to variable, the result of map will be returned by scala
  _sc.newAPIHadoopRDD(_HBaseConfiguration, classOf[TableInputFormat],
    classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable],
    classOf[org.apache.hadoop.hbase.client.Result]).map { case (key, row) =>
    toK(key) -> toV(row) // return tuple of type (K, V)
  }
}