node.js - 如何在具有持续集成的gitlab中存储作业和阶段之间的 Node 模块

Question

我是 GitLab CI 的新手，我一直在尝试不同的方法在我的整个管道中使用 node_modules 目录。根据我在 official docs 中阅读的内容、缓存和工件似乎是在作业之间传递文件的有效方法:

cache is used to specify a list of files and directories which should be cached between jobs. You can only use paths that are within the project workspace.

但是，我对缓存方法的问题是 node_modules 默认情况下会在管道之间保留:

• cache can be set globally and per-job.
• from GitLab 9.0, caching is enabled and shared between pipelines and jobs by default.

我不想在管道之间保留 node_modules。我真正想要的是在设置阶段使用 npm 触发全新安装，然后允许管道中的所有其他作业使用这些模块。因此，我开始使用工件而不是缓存，其描述类似:

artifacts is used to specify a list of files and directories which should be attached to the job after success. [...]

The artifacts will be sent to GitLab after the job finishes successfully and will be available for download in the GitLab UI. The dependency feature should be used in conjunction with artifacts and allows you to define the artifacts to pass between different jobs.

工件依赖方法似乎对我有用。然而，缓存和工件都非常低效且缓慢。 node_modules 已安装并可用，但整个目录随后会上传到某处 并在每个作业之间重新下载。 (我真的很想知道这里发生了什么......模块去了哪里？)

是否有更好的方法在管道的开始运行一次 npm install，然后在整个运行期间将 node_modules 保留在管道中？我不想在所有作业完成后保留 node_modules，因此它们不需要在任何地方上传或下载。

重现行为的示例管道配置文件:

image: node:lts

stages:
  - setup
  - build
  - test

node:
  stage: setup
  script:
    - npm install
  artifacts:
    paths:
      - node_modules/

build:
  stage: build
  script:
    - npm run build
  dependencies:
    - node

test:
  stage: test
  script:
    - npm run lint
    - npm run test
  dependencies:
    - node

Answer 1

Where do the modules go?

默认情况下，工件保存在主 gitlab machine 上:

/var/opt/gitlab/gitlab-rails/shared/artifacts

Is there a better approach to run npm install only once at the beginning of the pipeline and then keep the node_modules in the pipeline during its entire runtime?

您可以尝试一些选项:

1. 将设置和构建阶段合并为一个阶段。

2. Local npm cache在生成器机器上。更快的 npm install 时间。或者使用私有(private) npm 代理注册表(例如 - Nexus/Artifactory)

3. 检查gitlab主机和builder是否在同一个网络，这样上传/下载会更快

4. 考虑在 docker 中打包您的构建。您将在 gitlab 阶段之间获得可重用的 docker 图像。 (当然上传镜像到docker registry是有开销的)