gpt4 book ai didi

Java 从路径中删除了一个斜杠,后来给我 NoSuchFileException

转载 作者:可可西里 更新时间:2023-11-01 16:44:18 28 4
gpt4 key购买 nike

我正在尝试使用这行代码在 Hadoop HDFS 中编写:

Files.write(Paths.get("hdfs:////localhost:9000/user/cloudera/trial/"+ "cat.txt","miao miao!".getBytes());

Spark 应用程序给了我这个异常:

java.nio.file.NoSuchFileException: hdfs:/quickstart.cloudera:9000/user/cloudera/trial/cat2

我正在解释,它给出了一个错误,因为在“hdfs:”之后只有一个斜线。
我记得我已经使用 java.nio.Files 方法在 HDFS 中写入,所以我会排除这是问题所在。
我应该怎么做才能防止出现这种异常?

编辑:导入部分

import java.io.File;
import java.nio.file.Files;
import java.nio.file.Paths;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;

最佳答案

不,您不能使用 java.nio.Files 写入 HDFS。 Java 类不知道 hadoop 集群中的 NameNode 和 DataNode。您需要使用 hadoop 库与 HDFS 通信。

这里我有一个使用 Java 写入 HDFS 的例子:

https://github.com/lalosam/HadoopInExamples/blob/master/src/main/java/rojosam/utils/hdfs/CreateTestsFiles.java

关于Java 从路径中删除了一个斜杠,后来给我 NoSuchFileException,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37944840/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com