scala - 带数组的 Spark 塞

Question

This question already has an answer here:

LinkedHashMap variable is not accessable out side the foreach loop

(1个答案)


5年前关闭。




我有一个数组，当它在闭包内部(有一些值)但在循环外部时，该数组可以工作，但是数组大小为0。我想知道是什么导致这种行为？

我需要hArr可以在外部访问以用于批处理HBase放置。

val hArr = new ArrayBuffer[Put]()

rdd.foreach(row => {
  val hConf = HBaseConfiguration.create()
  val hTable = new HTable(hConf, tablename)
  val hRow = new Put(Bytes.toBytes(row._1.toString))
  hRow.add(...)
  hArr += hRow
  println("hArr: " + hArr.toArray.mkString(","))
})

println("hArr.size: " + hArr.size)

最佳答案

问题是rdd闭包中的所有项目均被复制并使用本地版本。 foreach仅应用于保存到磁盘或类似的东西。

如果要在数组中进行此操作，则可以先map，然后再collect

rdd.map(row=> {
  val hConf = HBaseConfiguration.create()
  val hTable = new HTable(hConf, tablename)
  val hRow = new Put(Bytes.toBytes(row._1.toString))
  hRow.add(...)
  hRow
}).collect()

关于scala - 带数组的 Spark 塞，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30443852/

上一篇：java - 文件名作为列-hadoop

下一篇：hadoop - Hbase中的三重复合键

Answer 1

问题是rdd闭包中的所有项目均被复制并使用本地版本。 foreach仅应用于保存到磁盘或类似的东西。

如果要在数组中进行此操作，则可以先map，然后再collect

rdd.map(row=> {
  val hConf = HBaseConfiguration.create()
  val hTable = new HTable(hConf, tablename)
  val hRow = new Put(Bytes.toBytes(row._1.toString))
  hRow.add(...)
  hRow
}).collect()