scala - 使用scala将文件复制到hadoop hdfs？

Question

我正在尝试将本地计算机上的文件复制到我的 hdfs。但是，我不确定如何在 Scala 中执行此操作，因为我正在编写的脚本当前写入本地 CSV 文件。如何使用 scala 将此文件移动到 HDFS？

编辑:我现在做了什么:

val hiveServer = new HiveJDBC
    val file =  new File(TMP_DIR, fileName)
    val firstRow = getFirstRow(tableName, hiveServer)
    val restData = getRestData(tableName, hiveServer)
    withPrintWriter(file) { printWriter => 
      printWriter.write(firstRow) 
      printWriter.write("\n")
      printWriter.write(restData)} 

我现在想在 HDFS 中存储"file"

Answer 1

Scala 可以直接调用Hadoop API。例如，

    val conf = new Configuration()
    val fs= FileSystem.get(conf)
    val output = fs.create(new Path("/your/path"))
    val writer = new PrintWriter(output)
    try {
        writer.write(firstRow) 
        writer.write("\n")
        writer.write(restData)
    }
    finally {
        writer.close()
    }