scala读取大文件

Question

您好，我正在寻找最快的 bat 而不是高级方法来处理大量数据收集。我的任务包括两个任务，读取内存中的大量大文件，然后进行一些统计计算(在此任务中处理数据的最简单方法是随机访问数组)。

我的第一个方法是使用 java.io.ByteArrayOutputStream，因为它可以调整其内部存储的大小。

def packTo(buf:java.io.ByteArrayOutputStream,f:File) = {
  try {
    val fs = new java.io.FileInputStream(f)
    IOUtils.copy(fs,buf)
  } catch  {
    case e:java.io.FileNotFoundException =>
  }
}

    val buf = new java.io.ByteArrayOutputStream()
    files foreach { f:File  => packTo(buf,f) } 
    println(buf.size())

    for(i <- 0 to buf.size()) {
       for(j <- 0 to buf.size()) {
          for(k <- 0 to buf.size()) {
       //  println("i  " + i + "  " + buf[i] );
                   // Calculate something amathing using buf[i] buf[j] buf[k] 
          }
       }
    }

    println("amazing = " + ???)

但是 ByteArrayOutputStream 无法获取我，因为 byte[] 只是它的副本。但我不能允许有 2 个数据副本。

Answer 1

你试过了吗scala-io ？应该和 Resource.fromFile(f).byteArray 一样简单。