映射后 Hadoop 集群停止-6ren

映射后 Hadoop 集群停止

转载作者：可可西里更新时间：2023-11-01 14:34:21

我有一个由三台机器组成的 hadoop 集群。我装了hadoop 20G的文件，我启动hadoop，映射完它就停止了。

“13/08/22 08:09:34 INFO mapred.JobClient: map 100% 减少 11%”

映射后所有 cpu 都不工作。我可以等一天，但它不能重新开始。

我能做什么？

这是我的日志文件的最后 10 行，当 map 为 100% 且 reduce 为 11% 时:

2013-08-22 14:15:32,503 信息 org.apache.hadoop.mapred.MapTask:开始刷新 map 输出
2013-08-22 14:15:32,542 信息 org.apache.hadoop.mapred.MapTask:完成溢出 67
2013-08-22 14:15:32,552 信息 org.apache.hadoop.mapred.Merger:合并 68 个排序段
2013-08-22 14:15:32,558 INFO org.apache.hadoop.mapred.Merger:合并总共 68 个中间段中的 5 个
2013-08-22 14:15:32,622 INFO org.apache.hadoop.mapred.Merger:一直到最后一次合并传递，总大小还剩 64 段:1600710 字节
2013-08-22 14:15:32,708 信息 org.apache.hadoop.mapred.Task:任务:attempt_201308221308_0002_m_000302_0 已完成。并且正在提交
2013-08-22 14:15:32,717 信息 org.apache.hadoop.mapred.Task:任务“attempt_201308221308_0002_m_000302_0”完成。
2013-08-22 14:15:32,759 信息 org.apache.hadoop.mapred.TaskLogsTruncater:使用 mapRetainSize=-1 和 reduceRetainSize=-1 初始化日志截断器
2013-08-22 14:15:32,774 信息 org.apache.hadoop.io.nativeio.NativeIO:UID 到用户映射的初始化缓存，缓存超时为 14400 秒。
2013-08-22 14:15:32,774 信息 org.apache.hadoop.io.nativeio.NativeIO:从 native 实现中获取了 UID 1000 的用户名 llobocki

我的 child of master hadoop 线程转储，当 map 为 100% 且 reduce 为 11% 时:

 2013-08-23 11:37:26
Full thread dump Java HotSpot(TM) 64-Bit Server VM (23.25-b01 mixed mode):

"Attach Listener" daemon prio=10 tid=0x0000000000f85800 nid=0x3873 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"Thread for polling Map Completion Events" daemon prio=10 tid=0x00007fc32860c800 nid=0x1d7a waiting on condition [0x00007fc31c183000]
   java.lang.Thread.State: TIMED_WAITING (sleeping)
    at java.lang.Thread.sleep(Native Method)
    at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$GetMapEventsThread.run(ReduceTask.java:2882)

"Thread for merging in memory files" daemon prio=10 tid=0x00007fc32860a800 nid=0x1d78 in Object.wait() [0x00007fc31c284000]
   java.lang.Thread.State: WAITING (on object monitor)
    at java.lang.Object.wait(Native Method)
    - waiting on <0x00000005bd6dd7c8> (a java.lang.Object)
    at java.lang.Object.wait(Object.java:503)
    at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$ShuffleRamManager.waitForDataToMerge(ReduceTask.java:1197)
    - locked <0x00000005bd6dd7c8> (a java.lang.Object)
    at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$InMemFSMergeThread.run(ReduceTask.java:2760)

"Thread for merging on-disk files" daemon prio=10 tid=0x00007fc328608000 nid=0x1d77 in Object.wait() [0x00007fc31c385000]
   java.lang.Thread.State: WAITING (on object monitor)
    at java.lang.Object.wait(Native Method)
    - waiting on <0x00000005bd713988> (a java.util.TreeSet)
    at java.lang.Object.wait(Object.java:503)
    at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$LocalFSMerger.run(ReduceTask.java:2654)
    - locked <0x00000005bd713988> (a java.util.TreeSet)

"MapOutputCopier attempt_201308230927_0001_r_000000_0.4" prio=10 tid=0x00007fc328606800 nid=0x1d76 in Object.wait() [0x00007fc31c486000]
   java.lang.Thread.State: WAITING (on object monitor)
    at java.lang.Object.wait(Native Method)
    - waiting on <0x00000005bd762eb0> (a java.util.ArrayList)
    at java.lang.Object.wait(Object.java:503)
    at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$MapOutputCopier.run(ReduceTask.java:1324)
    - locked <0x00000005bd762eb0> (a java.util.ArrayList)

"MapOutputCopier attempt_201308230927_0001_r_000000_0.3" prio=10 tid=0x00007fc328602000 nid=0x1d75 in Object.wait() [0x00007fc31c587000]
   java.lang.Thread.State: WAITING (on object monitor)
    at java.lang.Object.wait(Native Method)
    - waiting on <0x00000005bd762eb0> (a java.util.ArrayList)
    at java.lang.Object.wait(Object.java:503)
    at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$MapOutputCopier.run(ReduceTask.java:1324)
    - locked <0x00000005bd762eb0> (a java.util.ArrayList)

"MapOutputCopier attempt_201308230927_0001_r_000000_0.2" prio=10 tid=0x00007fc328600000 nid=0x1d73 in Object.wait() [0x00007fc31c688000]
   java.lang.Thread.State: WAITING (on object monitor)
    at java.lang.Object.wait(Native Method)
    - waiting on <0x00000005bd762eb0> (a java.util.ArrayList)
    at java.lang.Object.wait(Object.java:503)
    at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$MapOutputCopier.run(ReduceTask.java:1324)
    - locked <0x00000005bd762eb0> (a java.util.ArrayList)

"MapOutputCopier attempt_201308230927_0001_r_000000_0.1" prio=10 tid=0x00007fc3285ff000 nid=0x1d72 in Object.wait() [0x00007fc31c789000]
   java.lang.Thread.State: WAITING (on object monitor)
    at java.lang.Object.wait(Native Method)
    - waiting on <0x00000005bd762eb0> (a java.util.ArrayList)
    at java.lang.Object.wait(Object.java:503)
    at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$MapOutputCopier.run(ReduceTask.java:1324)
    - locked <0x00000005bd762eb0> (a java.util.ArrayList)

"MapOutputCopier attempt_201308230927_0001_r_000000_0.0" prio=10 tid=0x00007fc3285f8800 nid=0x1d70 in Object.wait() [0x00007fc31c88a000]
   java.lang.Thread.State: WAITING (on object monitor)
    at java.lang.Object.wait(Native Method)
    - waiting on <0x00000005bd762eb0> (a java.util.ArrayList)
    at java.lang.Object.wait(Object.java:503)
    at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$MapOutputCopier.run(ReduceTask.java:1324)
    - locked <0x00000005bd762eb0> (a java.util.ArrayList)

"communication thread" daemon prio=10 tid=0x00007fc3285d2000 nid=0x1d53 in Object.wait() [0x00007fc31c9b3000]
   java.lang.Thread.State: TIMED_WAITING (on object monitor)
    at java.lang.Object.wait(Native Method)
    - waiting on <0x00000005bd762e90> (a java.lang.Object)
    at org.apache.hadoop.mapred.Task$TaskReporter.run(Task.java:658)
    - locked <0x00000005bd762e90> (a java.lang.Object)
    at java.lang.Thread.run(Thread.java:724)

"Timer for 'ReduceTask' metrics system" daemon prio=10 tid=0x00007fc3285b1000 nid=0x1d49 in Object.wait() [0x00007fc31cbb5000]
   java.lang.Thread.State: TIMED_WAITING (on object monitor)
    at java.lang.Object.wait(Native Method)
    - waiting on <0x00000005bd919a30> (a java.util.TaskQueue)
    at java.util.TimerThread.mainLoop(Timer.java:552)
    - locked <0x00000005bd919a30> (a java.util.TaskQueue)
    at java.util.TimerThread.run(Timer.java:505)

"Thread for syncLogs" daemon prio=10 tid=0x00007fc328494000 nid=0x1d3e waiting on condition [0x00007fc31cebd000]
   java.lang.Thread.State: TIMED_WAITING (sleeping)
    at java.lang.Thread.sleep(Native Method)
    at org.apache.hadoop.mapred.Child$3.run(Child.java:139)

"IPC Client (47) connection to /127.0.0.1:35127 from job_201308230927_0001" daemon prio=10 tid=0x00007fc328492800 nid=0x1d3d in Object.wait() [0x00007fc31cfbe000]
   java.lang.Thread.State: TIMED_WAITING (on object monitor)
    at java.lang.Object.wait(Native Method)
    - waiting on <0x00000005bd721b60> (a org.apache.hadoop.ipc.Client$Connection)
    at org.apache.hadoop.ipc.Client$Connection.waitForWork(Client.java:747)
    - locked <0x00000005bd721b60> (a org.apache.hadoop.ipc.Client$Connection)
    at org.apache.hadoop.ipc.Client$Connection.run(Client.java:789)

"Service Thread" daemon prio=10 tid=0x00007fc3280f4000 nid=0x1cf7 runnable [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C2 CompilerThread1" daemon prio=10 tid=0x00007fc3280f1800 nid=0x1cf5 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C2 CompilerThread0" daemon prio=10 tid=0x00007fc3280ee800 nid=0x1cf4 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"Signal Dispatcher" daemon prio=10 tid=0x00007fc3280ec800 nid=0x1cf3 runnable [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"Finalizer" daemon prio=10 tid=0x00007fc32809e000 nid=0x1ce5 in Object.wait() [0x00007fc2c1b7f000]
   java.lang.Thread.State: WAITING (on object monitor)
    at java.lang.Object.wait(Native Method)
    - waiting on <0x00000005bd6fb1f8> (a java.lang.ref.ReferenceQueue$Lock)
    at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:135)
    - locked <0x00000005bd6fb1f8> (a java.lang.ref.ReferenceQueue$Lock)
    at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:151)
    at java.lang.ref.Finalizer$FinalizerThread.run(Finalizer.java:189)

"Reference Handler" daemon prio=10 tid=0x00007fc32809c000 nid=0x1ce4 in Object.wait() [0x00007fc2c1c80000]
   java.lang.Thread.State: WAITING (on object monitor)
    at java.lang.Object.wait(Native Method)
    - waiting on <0x00000005bd6fade8> (a java.lang.ref.Reference$Lock)
    at java.lang.Object.wait(Object.java:503)
    at java.lang.ref.Reference$ReferenceHandler.run(Reference.java:133)
    - locked <0x00000005bd6fade8> (a java.lang.ref.Reference$Lock)

"main" prio=10 tid=0x00007fc32800b000 nid=0x1cc8 waiting on condition [0x00007fc32dc3a000]
   java.lang.Thread.State: TIMED_WAITING (sleeping)
    at java.lang.Thread.sleep(Native Method)
    at org.apache.hadoop.mapred.ReduceTask$ReduceCopier.fetchOutputs(ReduceTask.java:2191)
    at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:386)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)

"VM Thread" prio=10 tid=0x00007fc328094800 nid=0x1cdf runnable 

"GC task thread#0 (ParallelGC)" prio=10 tid=0x00007fc328018800 nid=0x1ccc runnable 

"GC task thread#1 (ParallelGC)" prio=10 tid=0x00007fc32801a800 nid=0x1cce runnable 

"GC task thread#2 (ParallelGC)" prio=10 tid=0x00007fc32801c800 nid=0x1cd7 runnable 

"GC task thread#3 (ParallelGC)" prio=10 tid=0x00007fc32801e000 nid=0x1cd8 runnable 

"VM Periodic Task Thread" prio=10 tid=0x00007fc3280fe800 nid=0x1cf8 waiting on condition 

JNI global references: 224

在映射期间，master 上的净流量约为 20 MiB，但是当 reduce 启动时，净流量下降到 3 KiB。

iostat

我的机器。

在 map 中掌握:

 Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sdd               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdb               0.00     0.00    0.00    7.00     0.00     0.02     6.29     0.48   68.43  68.29  47.80
sda               0.00     0.00   43.00    7.00     5.38     0.02   221.04     0.22    4.42   2.78  13.90
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md1               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md2               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md3               0.00     0.00   43.00    3.00     5.38     0.01   239.83     0.00    0.00   0.00   0.00
md0               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

Filesystem:               rMB_nor/s    wMB_nor/s    rMB_dir/s    wMB_dir/s    rMB_svr/s    wMB_svr/s     ops/s    rops/s    wops/s

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sdd               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdb               0.00    14.00    0.00   53.00     0.00     1.34    51.66     1.58   29.77   5.38  28.50
sda               3.00    14.00   34.00   53.00     4.62     1.34   140.34     1.27   14.55   3.84  33.40
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md1               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md2               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md3               0.00     0.00   37.00   62.00     4.62     1.32   122.99     0.00    0.00   0.00   0.00
md0               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

map 中的奴隶:

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sdd               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sda               2.00     0.00   12.00    4.00     1.75     0.01   225.25     0.76   47.50  25.19  40.30
sdb               0.00     0.00    0.00    6.00     0.00     0.02     6.00     0.09   20.00  14.67   8.80
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md1               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md2               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md3               0.00     0.00   14.00    2.00     1.75     0.01   225.00     0.00    0.00   0.00   0.00
md0               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

Filesystem:               rMB_nor/s    wMB_nor/s    rMB_dir/s    wMB_dir/s    rMB_svr/s    wMB_svr/s     ops/s    rops/s    wops/s

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sdd               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sda               0.00     0.00   28.00    4.00     3.50     0.01   224.81     0.39   12.28   7.16  22.90
sdb               0.00     0.00    5.00    3.00     0.42     0.01   110.25     0.25   31.50  22.12  17.70
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md1               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md2               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md3               0.00     0.00   33.00    0.00     3.92     0.00   243.39     0.00    0.00   0.00   0.00
md0               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

大师停止了:

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sdd               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdb               0.00     0.00    8.00    1.00     1.00     0.00   228.44     0.03    3.44   3.00   2.70
sda               0.00     0.00    0.00    1.00     0.00     0.00     8.00     0.01   13.00  13.00   1.30
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md1               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md2               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md3               0.00     0.00    8.00    0.00     1.00     0.00   256.00     0.00    0.00   0.00   0.00
md0               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

Filesystem:               rMB_nor/s    wMB_nor/s    rMB_dir/s    wMB_dir/s    rMB_svr/s    wMB_svr/s     ops/s    rops/s    wops/s

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sdd               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdb               0.00     0.00    8.00    0.00     1.00     0.00   256.00     0.01    0.62   0.50   0.40
sda               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md1               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md2               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md3               0.00     0.00    8.00    0.00     1.00     0.00   256.00     0.00    0.00   0.00   0.00
md0               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

Filesystem:               rMB_nor/s    wMB_nor/s    rMB_dir/s    wMB_dir/s    rMB_svr/s    wMB_svr/s     ops/s    rops/s    wops/s

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sdd               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdb               0.00     0.00    8.00    0.00     1.00     0.00   256.00     0.02    2.38   2.38   1.90
sda               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md1               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md2               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md3               0.00     0.00    8.00    0.00     1.00     0.00   256.00     0.00    0.00   0.00   0.00
md0               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

Filesystem:               rMB_nor/s    wMB_nor/s    rMB_dir/s    wMB_dir/s    rMB_svr/s    wMB_svr/s     ops/s    rops/s    wops/s

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sdd               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdb               0.00     0.00    8.00    0.00     1.00     0.00   256.00     0.01    0.75   0.50   0.40
sda               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md1               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md2               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md3               0.00     0.00    8.00    0.00     1.00     0.00   256.00     0.00    0.00   0.00   0.00
md0               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

从站停止:

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sdd               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sda               0.00     0.00    8.00    0.00     1.00     0.00   256.00     0.01    1.38   1.12   0.90
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md1               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md2               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md3               0.00     0.00    8.00    0.00     1.00     0.00   256.00     0.00    0.00   0.00   0.00
md0               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

Filesystem:               rMB_nor/s    wMB_nor/s    rMB_dir/s    wMB_dir/s    rMB_svr/s    wMB_svr/s     ops/s    rops/s    wops/s

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sdd               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sda               0.00     0.00    7.00    0.00     0.88     0.00   256.00     0.01    0.71   0.57   0.40
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md1               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md2               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md3               0.00     0.00    7.00    0.00     0.88     0.00   256.00     0.00    0.00   0.00   0.00
md0               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

Filesystem:               rMB_nor/s    wMB_nor/s    rMB_dir/s    wMB_dir/s    rMB_svr/s    wMB_svr/s     ops/s    rops/s    wops/s

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sdd               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sda               0.00     0.00    8.00    0.00     1.00     0.00   256.00     0.01    0.75   0.62   0.50
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md1               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md2               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
md3               0.00     0.00    8.00    0.00     1.00     0.00   256.00     0.00    0.00   0.00   0.00
md0               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

最佳答案

我已经解决了我的问题。/etc/hosts 中的值不正确。

早些时候:

ip alias

现在:

ip domain alias

关于映射后 Hadoop 集群停止，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/18375105/

文章推荐： hadoop - HDFS 和 MapReduce 如何处理小文件

文章推荐： hadoop - 在 Oozie 中动态创建 fork

文章推荐： hadoop - 在 Hadoop 分布式缓存中重用文件

文章推荐： hadoop - 数据节点之间的通信如何在 Hadoop 集群中工作？

hadoop - 到 hadoop 还是不到 hadoop
我们有数据(此时未分配)要转换/聚合/透视到 wazoo。我在 www 上看了看，我问的所有答案都指向 hadoop 可扩展、运行便宜(没有 SQL 服务器机器和许可证)、快速(如果你有足够的数据)
hadoop - 什么是 "Hadoop"- Hadoop 的定义？
这很明显，我们都同意我们可以将 HDFS + YARN + MapReduce 称为 Hadoop。但是，Hadoop 生态系统中的其他不同组合和其他产品会怎样？例如，HDFS + YARN + S
hadoop - es-hadoop(ElasticSearch-Hadoop)是如何做Hadoop的？
如果 es-hadoop 只是连接到 HDFS 的 Hadoop 连接器，它如何支持 Hadoop 分析？最佳答案我假设您指的是 this project .在这种情况下，ES Hadoop 项目
hadoop - Hadoop 中的 JoGL？用于图形的 Hadoop？
看完this和 this论文，我决定我想在 MapReduce 上为大型数据集实现分布式体积渲染设置作为我的本科论文工作。 Hadoop 是一个合理的选择吗？ Java 不会扼杀一些性能提升或使与 C
hadoop - 在命令行上通过 Hadoop 作业客户端提交 Hadoop 作业
我一直在尝试查找有关如何通过命令行提交 hadoop 作业的信息。我知道命令 - hadoop jar jar-file 主类输入输出还有另一个命令，我正在尝试查找有关它的信息，但未能找到 - h
hadoop - 我无法从 Hadoop 客户端连接到 Hadoop 服务器
Hadoop 服务器在 Kubernetes 中。而Hadoop客户端位于外网。所以我尝试使用 kubernetes-service 来使用 Hadoop 服务器。但是 hadoop fs -put
hadoop - sudo hadoop 与 su hadoop
有没有人遇到奇怪的环境问题，在调用 hadoop 命令时被迫使用 SU 而不是 SUDO？ sudo su -c 'hadoop fs -ls /' hdfs Found 4 itemsdrwxr-x
hadoop - 以压缩文件作为输入运行 hadoop。 hadoop 读取的数据输入不按顺序。数字格式异常
在更改 mapred-site.xml 中的属性后，我给出了一个 tar.bz2 文件、.gz 和 tar.gz 文件作为输入。以上似乎都没有奏效。我假设这里发生的是 hadoop 作为输入读取的记录
hadoop - 使用 Hadoop 管道获取 Hadoop 映射器中的文件名
如何在 Hadoop Pipes 中获取正在 hadoop 映射器中执行的输入文件名称？我可以很容易地在基于 java 的 map reducer 中获取文件名，比如 FileSplit fil
hadoop - 流数据和 Hadoop？ (不是 Hadoop 流)
我想使用 MapReduce 方法分析连续的数据流(通过 HTTP 访问)，因此我一直在研究 Apache Hadoop。不幸的是，Hadoop 似乎期望以固定大小的输入文件开始作业，而不是能够在新数
hadoop - Hadoop-名称节点可以执行任务吗？
名称节点可以执行任务吗？默认情况下，任务在集群的数据节点上执行。最佳答案假设您正在询问MapReduce ... 使用YARN，MapReduce任务在应用程序主数据库中执行，而不是在nameno
hadoop - Hadoop Pig技术按功能分组
我有一个关系A包含 (zip-code). 我还有另一个关系B包含 (name:gender:zip-code) (x:m:1234) (y:f:1234) (z:m:1245) (s:f:1235)
hadoop - Hadoop:排序和混排
我是hadoop地区的新手。您能帮我负责(k2,list[v2,v2,v2...])形式的输出(意味着将键及其所有关联值组合在一起)的责任是吗？谢谢。最佳答案这是Hadoop的MapReduce
hadoop - Hadoop Map程序以打印输入文件
因此，我一直在尝试编写一个hadoop程序，该程序将输入作为一个包含许多文件的文件，并且我希望hadoop程序的输出仅是输入文件的一行。但是我还没有做到这一点。我也不想去 reducer 课。如果有人
hadoop - Hadoop> Mapper类输入错误
我使用的输入文本文件的内容是 1 "Come 1 "Defects," 1 "I 1 "Information 1 "J" 2 "Plain 5 "Project 1
hadoop - hadoop grep命令
谁能告诉我以下grep命令的作用: $ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' 最佳答案 http:/
hadoop - hadoop map减少功能
我不了解mapreducer的基本功能，mapreducer是否有助于将文件放入HDFS 或mapreducer仅有助于分析HDFS中现有文件中的内容我对hadoop非常陌生，任何人都可以指导我理解
hadoop - Hadoop put和copyfromlocal之间的区别
CopyFromLocal将从本地文件系统上载数据。不要放会从任何文件上传数据，例如。本地FS，亚马逊S3 或仅来自本地fs ??? 最佳答案请找到两个命令的用法。 put ======= Usa
hadoop - hadoop mapreduce如何在云中内部工作？
我开始研究hadoop mapreduce。我是Java和hadoop的初学者，并且了解hadoop mapreduce的编码，但是有兴趣了解它在云中的内部工作方式。您能否分享一些很好的链接来说明
hadoop - hadoop mapreduce的类路径在哪里？
我一直在寻找Hadoop mapreduce类的类路径。我正在使用Hortonworks 2.2.4版沙箱。我需要这样的类路径来运行我的javac编译器: javac -cp (CLASS_PATH)

可可西里

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

映射后 Hadoop 集群停止