Python:使用 sh 运行 docker 容器并处理 UTF-8 解码错误

Question

我有一个由Jenkins直接执行的Python程序。该程序使用 sh通过此函数来执行 docker 容器的库。请注意，此函数的一个重要功能是在执行时显示子进程的输出:

def run_command(*args, **kwargs):

    # pass the parent stream 'tty' state to the command:
    tty_in = sys.stdin.isatty()
    tty_out = sys.stdout.isatty()

    run = sh.Command(args[0])
    try:
        for line in run(args[1:], _err=sys.stdout, _iter=True, _tty_in=tty_in, _tty_out=tty_out):
            sys.stdout.write(line)
            sys.stdout.flush()

根据注释，docker run 需要 TTY 进行输入，因此关键字参数 _tty_in 设置为匹配 stdin 的任何状态> 是。然而，当在 Jenkins 下运行时，它是 False。

但是，问题在于来自容器内运行的程序(例如 cp)的 UTF-8 编码错误消息。这会导致错误，例如:

cp: cannot stat \xe2\x80\x98filename...

事实证明，这三个字节是 utf-8 编码，用于 cp 在语言环境为 UTF-8 时喜欢使用的特殊“引号”字符。如果我在直接运行 cp 之前手动将语言环境设置为“C”，我可以看到它使用普通的 ascii。

当我的 Python 脚本遇到这些错误时，它会因以下错误而终止:

Exception in thread Thread-10:
Traceback (most recent call last):
  File "/usr/lib/python2.7/threading.py", line 810, in __bootstrap_inner
    self.run()
  File "/usr/lib/python2.7/threading.py", line 763, in run
    self.__target(*self.__args, **self.__kwargs)
  File "/usr/local/lib/python2.7/dist-packages/sh.py", line 1484, in output_thread
    done = stream.read()
  File "/usr/local/lib/python2.7/dist-packages/sh.py", line 1974, in read
    self.write_chunk(chunk)
  File "/usr/local/lib/python2.7/dist-packages/sh.py", line 1949, in write_chunk
    self.should_quit = self.process_chunk(chunk)
  File "/usr/local/lib/python2.7/dist-packages/sh.py", line 1847, in process
    handler.write(chunk)
  File "/usr/lib/python2.7/codecs.py", line 351, in write
    data, consumed = self.encode(object, self.errors)
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 16: ordinal not in range(128)

这表明 sh 模块期待子进程的 ascii 输出，但正在接收 UTF-8 并且无法对其进行解码。

我找到了 sh 的 _encoding 和 _decode_errors 选项，尽管这些选项似乎确实影响 cp 的语言环境> 当直接由 sh 运行时，它似乎无法正确翻译在 docker 容器内运行的程序。但是，它确实允许程序继续，因为跳过解码错误而不是引发异常。

我更愿意更好地了解情况并实现适当的解决方案。任何人都可以一步步解释这里实际发生的情况(Jenkins > Python > sh > Docker > Bash)

我正在使用 Python 2.7.12 和 Jenkins 2.33。

Answer 1

我在 docker 容器中运行 python 脚本时遇到了类似的问题。

我解决了以下过程。

(步骤 1)在运行 python 命令之前在 Dockerfile 中添加以下行

ENV LANG C.UTF-8