gpt4 book ai didi

hadoop - 使用 Behemoth 和 map reduce 转换为 Tika 时配置对象出错

转载 作者:可可西里 更新时间:2023-11-01 16:34:06 25 4
gpt4 key购买 nike

我正在运行命令,使用 this tutorial 中给出的 map reduce 将庞然大物语料库转换为 tika。

我在执行此操作时遇到以下错误:

    13/02/25 14:44:00 INFO mapred.FileInputFormat: Total input paths to process : 1
13/02/25 14:44:01 INFO mapred.JobClient: Running job: job_201302251222_0017
13/02/25 14:44:02 INFO mapred.JobClient: map 0% reduce 0%
13/02/25 14:44:09 INFO mapred.JobClient: Task Id : attempt_201302251222_0017_m_000000_0, Status : FAILED
java.lang.RuntimeException: Error in configuring object
at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:93)
at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:64)
at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:387)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:325)
at org.apache.hadoop.mapred.Child$4.run(Child.java:270)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:416)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1127)
at org.apache.hadoop.mapred.Child.main(Child.java:264)
attempt_201302251222_0017_m_000001_0: log4j:WARN No appenders could be found for logger (org.apache.hadoop.hdfs.DFSClient).
attempt_201302251222_0017_m_000001_0: log4j:WARN Please initialize the log4j system properly.
13/02/25 14:44:14 INFO mapred.JobClient: Task Id : attempt_201302251222_0017_m_000001_1, Status : FAILED
java.lang.RuntimeException: Error in configuring object
at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:93)
at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:64)
at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:387)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:325)
at org.apache.hadoop.mapred.Child$4.run(Child.java:270)
at java.security.AccessController.doPrivileged(Native Method)

我无法理解确切的问题。可能的原因是什么?我是否需要将 Behemoth/Tika 中的任何 jar 复制到 hadoop 工作目录?

最佳答案

我遇到了同样的问题。该过程,如本 page 中所述帮助了我。在我运行“mvn clean install”后,tika 作业按照教程中的描述工作。

关于hadoop - 使用 Behemoth 和 map reduce 转换为 Tika 时配置对象出错,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15064194/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com