python-2.7 - Hadoop的STDERR输出，这是否意味着一些问题？-6ren

python-2.7 - Hadoop的STDERR输出，这是否意味着一些问题？

转载作者：行者123 更新时间：2023-12-02 21:29:01

27

4

我正在将Mrjob-Hadoop与Python2.7，Ubuntu 14.04结合使用，并且具有以下屏幕输出:

no configs found; falling back on auto-configuration
no configs found; falling back on auto-configuration
creating tmp directory /tmp/word-document.hduser.20160122.065849.953886
writing wrapper script to /tmp/word-document.hduser.20160122.065849.953886/setup-wrapper.sh

PLEASE NOTE: Starting in mrjob v0.5.0, protocols will be strict by default. It's recommended you run your job with --strict-protocols or set up mrjob.conf as described at https://pythonhosted.org/mrjob/whats-new.html#ready-for-strict-protocols

writing to /tmp/word-document.hduser.20160122.065849.953886/step-0-mapper_part-00000
> sh -ex setup-wrapper.sh /usr/bin/python word-document.py --step-num=0 --mapper /tmp/word-document.hduser.20160122.065849.953886/input_part-00000 > /tmp/word-document.hduser.20160122.065849.953886/step-0-mapper_part-00000
writing to /tmp/word-document.hduser.20160122.065849.953886/step-0-mapper_part-00001
> sh -ex setup-wrapper.sh /usr/bin/python word-document.py --step-num=0 --mapper /tmp/word-document.hduser.20160122.065849.953886/input_part-00001 > /tmp/word-document.hduser.20160122.065849.953886/step-0-mapper_part-00001
STDERR: + __mrjob_PWD=/tmp/word-document.hduser.20160122.065849.953886/job_local_dir/0/mapper/0
STDERR: + exec
STDERR: + /usr/bin/python -c import fcntl; fcntl.flock(9, fcntl.LOCK_EX)
STDERR: + export PYTHONPATH=/tmp/word-document.hduser.20160122.065849.953886/job_local_dir/0/mapper/0/mrjob.tar.gz:/home/ignacio/shogun-install/lib/python2.7/dist-packages:/home/ignacio/shogun/examples/undocumented/python_modular:
STDERR: + exec
STDERR: + cd /tmp/word-document.hduser.20160122.065849.953886/job_local_dir/0/mapper/0
STDERR: + /usr/bin/python word-document.py --step-num=0 --mapper /tmp/word-document.hduser.20160122.065849.953886/input_part-00000
STDERR: + __mrjob_PWD=/tmp/word-document.hduser.20160122.065849.953886/job_local_dir/0/mapper/1
STDERR: + exec
STDERR: + /usr/bin/python -c import fcntl; fcntl.flock(9, fcntl.LOCK_EX)
STDERR: + export PYTHONPATH=/tmp/word-document.hduser.20160122.065849.953886/job_local_dir/0/mapper/1/mrjob.tar.gz:/home/ignacio/shogun-install/lib/python2.7/dist-packages:/home/ignacio/shogun/examples/undocumented/python_modular:
STDERR: + exec
STDERR: + cd /tmp/word-document.hduser.20160122.065849.953886/job_local_dir/0/mapper/1
STDERR: + /usr/bin/python word-document.py --step-num=0 --mapper /tmp/word-document.hduser.20160122.065849.953886/input_part-00001
Counters from step 1:
  (no counters found)
writing to /tmp/word-document.hduser.20160122.065849.953886/step-0-mapper-sorted
> sort /tmp/word-document.hduser.20160122.065849.953886/step-0-mapper_part-00000 /tmp/word-document.hduser.20160122.065849.953886/step-0-mapper_part-00001
writing to /tmp/word-document.hduser.20160122.065849.953886/step-0-reducer_part-00000
> sh -ex setup-wrapper.sh /usr/bin/python word-document.py --step-num=0 --reducer /tmp/word-document.hduser.20160122.065849.953886/input_part-00000 > /tmp/word-document.hduser.20160122.065849.953886/step-0-reducer_part-00000
writing to /tmp/word-document.hduser.20160122.065849.953886/step-0-reducer_part-00001
> sh -ex setup-wrapper.sh /usr/bin/python word-document.py --step-num=0 --reducer /tmp/word-document.hduser.20160122.065849.953886/input_part-00001 > /tmp/word-document.hduser.20160122.065849.953886/step-0-reducer_part-00001
STDERR: + __mrjob_PWD=/tmp/word-document.hduser.20160122.065849.953886/job_local_dir/0/reducer/0
STDERR: + exec
STDERR: + /usr/bin/python -c import fcntl; fcntl.flock(9, fcntl.LOCK_EX)
STDERR: + export PYTHONPATH=/tmp/word-document.hduser.20160122.065849.953886/job_local_dir/0/reducer/0/mrjob.tar.gz:/home/ignacio/shogun-install/lib/python2.7/dist-packages:/home/ignacio/shogun/examples/undocumented/python_modular:
STDERR: + exec
STDERR: + cd /tmp/word-document.hduser.20160122.065849.953886/job_local_dir/0/reducer/0
STDERR: + /usr/bin/python word-document.py --step-num=0 --reducer /tmp/word-document.hduser.20160122.065849.953886/input_part-00000
STDERR: + __mrjob_PWD=/tmp/word-document.hduser.20160122.065849.953886/job_local_dir/0/reducer/1
STDERR: + exec
STDERR: + /usr/bin/python -c import fcntl; fcntl.flock(9, fcntl.LOCK_EX)
STDERR: + export PYTHONPATH=/tmp/word-document.hduser.20160122.065849.953886/job_local_dir/0/reducer/1/mrjob.tar.gz:/home/ignacio/shogun-install/lib/python2.7/dist-packages:/home/ignacio/shogun/examples/undocumented/python_modular:
STDERR: + exec
STDERR: + cd /tmp/word-document.hduser.20160122.065849.953886/job_local_dir/0/reducer/1
STDERR: + /usr/bin/python word-document.py --step-num=0 --reducer /tmp/word-document.hduser.20160122.065849.953886/input_part-00001
Counters from step 1:
  (no counters found)
Moving /tmp/word-document.hduser.20160122.065849.953886/step-0-reducer_part-00000 -> /tmp/word-document.hduser.20160122.065849.953886/output/part-00000
Moving /tmp/word-document.hduser.20160122.065849.953886/step-0-reducer_part-00001 -> /tmp/word-document.hduser.20160122.065849.953886/output/part-00001
Streaming final output from /tmp/word-document.hduser.20160122.065849.953886/output
removing tmp directory /tmp/word-document.hduser.20160122.065849.953886

你能说出什么问题吗？我的意思是，工作已经完成，但是 STDERR:关键字对我来说很吵。

先感谢您。

最佳答案

看来您的工作没有产生任何输出。您能张贴word-document.py和您的输入数据吗？

关于python-2.7 - Hadoop的STDERR输出，这是否意味着一些问题？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/34940976/

27

4

0

文章推荐： docker/无花果 : port forwarding to guest machine does not work on MacOS

文章推荐： ASP.NET:它是否涉及 Active X？

文章推荐： SwaggerUI : Path shows "Default". 如何更改？

文章推荐： docker - 图没有链接两个容器

stderr - 读取 php ://stderr
我想阅读 php://stderr。怎么做到的？ php://stderr 和 STDERR 是否写入同一个文件？因为在写入 php://stderr 后，我尝试使用 stream_get_conte
python - 子进程 stderr 与 sys.stderr
我不确定这个问题是 Python 还是 shell 问题。我有一个 Python 程序，它在命令上使用子进程调用，该命令可以在 stderr 上发出错误消息。我自己的程序也使用 sys.stderr
file - 如何将 stdout 和 stderr 重定向到文件并仍然仅输出 stderr？
如何重定向命令的输出，以便 stdout 和 stderr 都记录在文件中，并且我仍然希望 stderr 显示为输出。我也不想使用 bash 来执行此操作。有这样的办法吗？最佳答案这很简单: $
linux - 如何在不使用/dev/stderr 的情况下在 stderr 上打印
关闭。这个问题需要更多focused .它目前不接受答案。想改进这个问题吗？更新问题，使其只关注一个问题 editing this post . 关闭 7 年前。 Improve this qu
windows - 订购 stderr 和 stdout 或刷新 stderr
我得到了以下批处理命令 echo 1 & echo 2 1>&2 & echo 3 有时这会打印 1 2 3有时 132 我怎样才能控制顺序？我必须得到订单。是否有启用以下功能的命令？ echo 1
ruby - 何时在 Ruby 中使用 $stderr 与 STDERR？
这个问题在这里已经有了答案: 关闭 10 年前。 Possible Duplicate: Ruby $stdout vs. STDOUT STDERR 通常比使用 $stderr 更受青睐，还是相反
bash - 如何同步记录 stderr 和 stdout，但仅将 stderr 打印到屏幕？
这是我经常尝试完成的任务。我想将 stderr 和 stdout 都记录到日志文件中。但我只想打印到控制台 stderr。我尝试过使用 tee，但是一旦我使用“2>&1”合并了 stderr 和 s
linux - 如何将 stderr 重定向到 stdout 和 stderr 本身
我想要做的是将 stderr 重定向到 stdout，而不更改 stderr 的输出。比如说，命令在stderr中有输出，我想将stderr中的所有内容输出到屏幕，同时还通过grep处理信息并将其保
bash - 在 bash 中将 stderr 复制到另一个文件时重定向 stdout 和 stderr
我正在尝试重定向一些 bash 脚本输出。我想做的是: ./some_script.sh 2> error.log >> all_output.log 2>&1 我想将 stderr 放在一个文件中，
bash - 将 stdout 和 stderr 重定向到一个文件，将 stderr 复制到另一个文件
我想将 stdout 和 stderr 的输出重定向到一个公共(public)文件: ./foo.sh >stdout_and_stderr.txt 2>&1 但也只是将 stderr 重定向到一个单
bash - 将 STDOUT 和 STDERR 写入日志文件，同时将 STDERR 写入屏幕
我想运行几个命令，并将所有输出捕获到日志文件中。我还想将任何错误打印到屏幕上(或者可以选择将输出邮寄给某人)。这是一个例子。以下命令将运行三个命令，并将所有输出(STDOUT 和 STDERR)写入
java - 如何在 Java 中将子进程 stdout/stderr 重定向到主进程 stdout/stderr？
在其他语言中(如 bash 和 Python)，当我们生成一个子进程时，这个新进程将从父进程继承 stdout 和 stderr。这意味着子进程的任何输出都将打印到终端以及父进程的输出。我们如何在
linux - 如何将 'stdout' 重定向到 'stderr' 并将 'stderr' 重定向到 'stdout'？
这个问题在这里已经有了答案: IO Redirection - Swapping stdout and stderr (4 个答案) 关闭 7 年前。我想将应该转到 stdout 的所有内容重定向
linux - 将 stderr 和 stdout 写入一个文件，但也将 stderr 写入另一个文件
我有一个 shell 脚本，我想将其 stdout 和 stderr 写入日志文件。我知道这可以通过 sh script.sh >> both.log 2>&1 但是，我还想同时将 stderr 写入
Git 克隆 : Redirect stderr to stdout but keep errors being written to stderr
git clone 将其输出写入 stderr，如记录 here .我可以使用以下命令重定向它: git clone https://myrepo c:\repo 2>&1 但这会将所有输出(包括错误
linux - 将 stdout 和 stderr 重定向到文件，将 stderr 重定向到 stdout
以下将 stdout 写入日志文件并打印 stderr: bash script.sh >> out.log 这再次将 stdout 和 stderr 写入日志文件: bash script.sh >
php - 调试 NotORM 调用结果在 "Use of undefined constant STDERR - assumed ' STDERR'"
我正在调试一个在 PHP 5.4 上使用 Slim 和 NotORM 的项目。将 NotORM 设置为 Debug模式时，NotORM 跟踪语句: fwrite(STDERR, "$backtrace
bash:如何将一个字符串添加到 stderr 行之前，并按准确顺序组合 stdout 和 stderr 并存储在 bash 中的一个变量中？
到目前为止我所做的是: #!/bin/bash exec 2> >(sed 's/^/ERROR= /') var=$( sleep 1 ; hostname ;
go - 通过 SSH 流式传输 Stdout 和 Stderr，操作流然后打印到本地 Stdout 和 Stderr
我在远程机器上通过 SSH 执行一系列操作，我正在传输它的标准输出和标准错误，然后由写入器使用它，写入本地标准输出和标准错误，以及字节缓冲区。就在编写器使用它之前，我想对其执行一系列字符串操作，然后
python - 如何使用 Python 调用命令，捕获 stderr 和 stdout，而不等待 stderr/stdout 关闭？
现在我有一些使用 Popen.communicate() 的代码从子进程(设置 stdin=PIPE 和 stderr=PIPE)运行命令并捕获 stderr 和 stdout。问题在于 commu

首页

博学

6Ren·AI

商城

python-2.7 - Hadoop的STDERR输出，这是否意味着一些问题？