gpt4 book ai didi

python - 在 docker 和 Jenkins 中处理大型二进制文件 (3 GB)

转载 作者:行者123 更新时间:2023-12-01 16:30:20 25 4
gpt4 key购买 nike

我在 docker 文件中使用 google 模型(二进制文件:大约 3GB),然后使用 Jenkins 在生产服务器上构建和部署它。其余代码是从 bitbucket 存储库中提取的。

来自 docker 文件的示例行,我在其中下载并解压缩该文件。它只会发生一次,因为该命令将被缓存。

FROM python:2.7.13-onbuild

RUN mkdir -p /usr/src/app
WORKDIR /usr/src/app

ARG DEBIAN_FRONTEND=noninteractive
RUN apt-get update && apt-get install --assume-yes apt-utils
RUN apt-get update && apt-get install -y curl
RUN apt-get update && apt-get install -y unzip
RUN curl -o - https://s3.amazonaws.com/dl4j-distribution/GoogleNews-vectors-negative300.bin.gz \
| gunzip > /usr/src/app/GoogleNews-vectors-negative300.bin

当我在本地计算机上构建并运行 docker 时,一切正常。然而,当我制作补丁版本以通过 Jenkins 将这些更改推送到生产服务器时,我的构建过程最终失败了。设置、构建和测试阶段运行良好。然而,构建后阶段失败了。 (构建过程将更改推送到存储库,并且根据日志,docker 文件中的所有命令也运行良好。)之后发生了一些事情,当我查看日志时,我收到以下错误。

18:49:27 654f45ecb7e3: Layer already exists
18:49:27 2c40c66f7667: Layer already exists
18:49:27 97108d083e01: Pushed
18:49:31 35a4b123c0a3: Pushed
18:50:10 1e730b4fb0a6: Pushed
18:53:46 error parsing HTTP 413 response body: invalid character '<'
looking for beginning of value: "<html>\r\n<head><title>413 Request
`Entity Too Large</title></head>\r\n<body
bgcolor=\"white\">\r\n<center>`<h1>413 Request
Entity Too Large</h1></center>\r\n<hr>
center>nginx/1.10.1</center>\r\n</body>\r\n</html>\r\n"

难道是文件太大了?

在添加此文件之前,docker 和 Jenkins 的一切都工作正常。

我想知道 docker/Jenkins 在处理这样的大文件时是否有任何限制?或者我正在以我接近某事的方式破坏它。

更新:增加 client_max_body_size 解决了这个特定错误。但是,我在 ssh -o StrictHostKeyChecking=no root@ipaddress "cd /root/ourapi &&docker-compose pull api &&docker-compose -p somefolder up -d" 处收到另一个错误

docker-compose pull 在这里失败并出现意外的 eof。它尝试下载图像(1.6 GB),但在几乎接近该大小后取消下载,然后重试,最终出现 eof 错误。

这让我想到了老问题,在这种情况下是否需要以不同的方式处理大文件?

更新 2:问题已解决。我需要将 client_max_body_size 增加到 4 GB,还需要增加从我们自己的存储库服务器提取存储库的超时参数。调整这两个参数就解决了问题。

最佳答案

该问题主要由以下原因引起:

  • Ngnix 服务器配置中 client_max_body_size 的默认值非常低。因此,我们无法上传 3.6 GB 的文件,因此我们将此值增加到 4 GB。
  • 我们在存储库管理系统上运行 Jetty 服务器来提供 HTTP 流量,因此我们需要增加 Jenkins 从那里提取相关 Docker 文件的超时时间。

这个答案主要是针对这个具体问题的。然而,如何以更好的方式处理此类文件的问题仍然悬而未决。此外,目前还不清楚将 client_max_body_size 增加到 4 GB 是否是一个好主意。

client_max_body_size的相关文档: http://nginx.org/en/docs/http/ngx_http_core_module.html#client_max_body_size

关于python - 在 docker 和 Jenkins 中处理大型二进制文件 (3 GB),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45362073/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com