- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
创建集群(Spark Amazon EMR)并尝试在命令行中运行。
CLI:
hadoop distcp s3a://bucket/file1 /data
org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateExceptionImpl(SerializedExceptionPBImpl.java:171)
at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateException(SerializedExceptionPBImpl.java:182)
at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.deSerialize(SerializedExceptionPBImpl.java:106)
at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$Container.launch(ContainerLauncherImpl.java:162)
at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$EventProcessor.run(ContainerLauncherImpl.java:408)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
最佳答案
请在/etc/hadoop/conf/yarn-site.xml中检查yarn-site.xml的属性,
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle,spark_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.spark_shuffle.class</name>
<value>org.apache.spark.network.yarn.YarnShuffleService</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
sudo stop hadoop-yarn-nodemanager
sudo start hadoop-yarn-nodemanager
s3-dist-cp --src s3://my-tables/incoming/hourly_table --dest /data/hdfslocation/path
关于amazon-web-services - 从s3复制到hdfs时distcp失败,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50544560/
我正在尝试使用 distcp 在两个 hadoop 集群之间移动数据。大量的小文件需要移动大量的数据。为了让它更快,我尝试使用 -strategy dynamic,根据文档,它“允许更快的数据节点比更
有什么区别 hadoop distcp 和 hadoop distcp -update 他们都做同样的工作,只是我们称呼他们的方式略有不同。它们都不会覆盖目标中已经存在的文件。那么两组不同的命令有什么
我只需要 distcp x 个文件。 找不到解决方法。 一个想法是将它复制到一个临时目录,然后distcp 该目录。完成后,我可以删除该临时目录。 单独的 distcp 命令(针对每个文件)。这可能会
作为一些背景,我们有 2 个集群,目前用于生产和开发。作为其中的一部分,我们正在将文件(使用 hadoop distcp -update)从生产集群复制到开发集群,这些文件是由实时进程生成的(即它也有
我想使用distcp将文件列表(> 1K文件)复制到hdfs中。我已经将文件列表存储在本地目录中,现在可以使用-f复制所有文件吗?如果是,我必须在文件列表文件中保留什么格式?还是还有其他更好的方法?
我正在尝试将数据从一个 HDFS 复制到另一个 HDFS。有什么建议为什么第一个有效但第二个无效? (作品) hadoop distcp hdfs://abc.net:8020/foo/bar web
我正在尝试从一个系统到另一个具有相同配置的系统(比如 A 到 B)执行 distcp。但是我在 A 中创建的分区在从 A 到 B 的 distcp 后没有显示在 B 中。我必须在 B 中手动创建分区。
我们正在使用 dictcp 将数据从 CDH4 复制到 CDH5。当我们在 CDH5 目标名称节点上运行命令时,我们得到以下异常。如果您已经遇到问题并知道解决方案,请告诉我。谢谢。 5/01/05 1
我正在尝试在两个启用 kerberos 的 hadoop 集群(版本 - Hadoop 2.0.0-cdh4.3.0)之间建立 Hadoop Distcp 当我在目标集群中使用命令“hadoop di
我在两个不同的 hadoop 集群之间执行 distcp 命令时遇到问题, Caused by: java.io.IOException: Mismatch in length of source:h
当我在配置单元中运行 INSERT OVERWRITE DIRECTORY 查询时,它似乎将结果存储在 .hivexxxx 暂存文件夹中,然后将文件从那里移动到该目录... 在 map reduce
我在集群 A 中有一个目录:/a/b/c。该目录包含目录“一”、“二”、“三”、...、“九十”。在集群 B 中,我有目录/a/b/c。该目录包含目录“一”。我想将目录“一”到“九十”从集群 A 复制
几天来我一直在与 distcp 作斗争,我发誓我已经用 google 搜索了足够多的东西。这是我的用例: 用例 我在某个位置有一个主文件夹,比如 /hdfs/root,里面有很多子目录(深度不固定)和
有什么方法可以运行 DistCp,但可以选择在文件名冲突时重命名?也许用一个例子来解释是最容易的。 假设我正在将 hdfs:///foo 复制到 hdfs:///bar,foo 包含这些文件: hdf
是否可以使用 DistCp 仅复制与特定模式匹配的文件?例如。对于/foo 我只想要 *.log 文件。 最佳答案 我意识到这是一个旧线程。但我自己对这个问题的答案很感兴趣——dk89 也在 2013
我正在使用hadoop distcp -update将目录从一个HDFS集群复制到另一个集群。 有时(经常),我得到这种异常: 13/07/03 00:20:03 INFO tools.DistCp:
我试图复制400+ GB的数据和35.6 GB的数据量,这又是一个distcp作业,但是两者都花了将近2 -3个小时来完成。 集群中确实有足够的资源。 但是,当我检查了容器日志后,发现复制小文件花费了
如何列出事件的 DISTCP 作业? 我正在两个集群之间运行一个 distcp 作业。hadoop distcp hdfs://x/y/x/y 我想持续运行它,但需要确保现有的 distcp 任务已完
我正在尝试将所有符合特定条件的文件复制到一个文件夹中 ${NAME_NODE}${PATH_COMVERSE}${CURRENT_DATE_NO_DASH}_*/*mta.
我正在运行 hadoop distcp 将整个目录 (500GB+) 从 /path/to/source 复制到 /path/to/destination。但是,不是运行 $ hadoop distc
我是一名优秀的程序员,十分优秀!