amazon-web-services - aws cloudformation 部署和 --parameter-overrides 语法

Question

我正在使用 aws cli v1 (aws-cli/1.29.8 Python/3.9.17 Linux/4.14.291-218.527.amzn2.x86_64 exec-env/AWS_ECS_EC2 botocore/1.31。 )在 CodeBuild 中，并阅读 documentation对于传递给 aws cloudformation deploy 命令的 --parameter-overrides ，它表示:

--parameter-overrides (list) A list of parameter structures that specify input parameters for your stack template. If you're updating a stack and you don't specify a parameter, the command uses the stack's existing value. For new stacks, you must specify parameters that don't have a default value. Syntax: ParameterKey1=ParameterValue1 ParameterKey2=ParameterValue2 ...(string)

所以基本上，我可以传递--parameter-overrides，例如:

> aws cloudformation deploy --parameter-overrides Key1=value1 Key2=value2

# or

> aws cloudformation deploy --parameter-overrides Key1=value1 \
Key2=value2

# or

> aws cloudformation deploy --parameter-overrides \
Key1=value1 \
Key2=value2

据我了解，我还可以引用每个 key=value 对，例如 'Key1=value1'(或使用双引号)。

我的参数有以下 json 文件:

[
  {
    "ParameterKey": "Key1",
    "ParameterValue": "value1"
  },
  {
    "ParameterKey": "Key2",
    "ParameterValue": "$ENV_VALUE2"
  }
]

我的 CloudFormation 模板中需要 Key1 和 Key2(未指定默认值)

我使用以下 jq 命令转换为 --parameter-overrides 语法:

> export ENV_VALUE2=value2

> parameter_overrides="$(jq -r '.[] | .ParameterValue |= (env[.[1:]] // .) | [.ParameterKey, .ParameterValue] | join("=")' myfile.json)"

> echo "$parameter_overrides"
Key1=value1
Key2=value2

但是运行命令 aws cloudformation deploy --parameter-overrides "$parameter_overrides" 会导致以下错误:

An error occurred (ValidationError) when calling the CreateChangeSet operation: Parameters: [Key2] must have values

也许，发生这种情况是因为通过 jq 转换，我没有尾随 \ 来转义换行符，所以我做了一些测试。

测试1

> export parameter_overrides=Key1=value Key2=value2
> aws cloudformation deploy --parameter-overrides "$parameter_overrides"

> An error occurred (ValidationError) when calling the CreateChangeSet operation: Parameters: [Key2] must have values

如果我尝试使用单引号和双引号导出，也会发生同样的情况，例如:

> export parameter_overrides="Key1=value Key2=value2"
or
> export parameter_overrides='Key1=value Key2=value2'

测试2

> export parameter_overrides="'Key1=value' 'Key2=value2'"
> aws cloudformation deploy --parameter-overrides "$parameter_overrides"

> An error occurred (ValidationError) when calling the CreateChangeSet operation: Parameters: [Key2, Key2] must have values

如果我交换引号，也会发生同样的情况。

测试3

> export parameter_overrides="'Key1=value Key2=value2'"
> aws cloudformation deploy --parameter-overrides "$parameter_overrides"

> An error occurred (ValidationError) when calling the CreateChangeSet operation: Parameters: [Key2, Key2] must have values

如果我交换引号，也会发生同样的情况。

测试4

作为最后一个资源，我尝试传递一个 json 字符串:

export parameter_overrides='[ "Key1=value1", "Key2=value2" ]'

部署就成功了。

我可以更改我的 jq 命令以从一种格式转换为另一种格式，但我真的很好奇为什么除了传递 json 字符串之外的所有内容都没有按预期工作。

编辑:

根据 @knittl 的回答，我使用以下方法作为解决方案:

parameter_overrides=$(jq -r '.[] | .ParameterValue |= (env[.[1:]] // .) | [.ParameterKey, .ParameterValue] | join("=") | @sh' myfile.json | tr "\n" " ")

echo "$parameter_overrides" | xargs aws cloudformation deploy \
    --template-file 'my_cfn_stack.yml' \
    --stack-name 'my-stack-name' \
    --capabilities 'CAPABILITY_NAMED_IAM' 'CAPABILITY_AUTO_EXPAND' \
    --no-fail-on-empty-changeset \
    --parameter-overrides

我刚刚发现jq有函数/运算符@sh它将引用输出。如果没有 tr，$override_parameters 变量的结果为:

> echo "$override_parameters"
'Key1=value1'
'Key2=value2'

使用 tr "\n""" 结果，效果非常好:

> echo "$override_parameters"
'Key1=value1' 'Key2=value2'

但是如果没有xargs，它仍然无法工作。谢谢@knittl

Answer 1

shell 的参数扩展 + 字/字段分割正在困扰着您。

aws cloudformation deploy --parameter-overrides "$parameter_overrides"

相当于:

aws cloudformation deploy --parameter-overrides 'key1=value1 key2=value2'

这与

有很大不同

aws cloudformation deploy --parameter-overrides 'key1=value1' 'key2=value2'

(1 次覆盖与 2 次覆盖)

不幸的是，这就是 shell 扩展参数的方式。

不引用参数会执行字段拆分，但同时也会执行路径名扩展，如果您的参数值包含 *、 中的任何一个，这将会出现问题?、[…] 或 [^…]。此外，键或值中不可能包含空格。

如果您知道 key ，则可以定义一个函数并传递该函数的多个计算:

override() {
  jq -r --arg key "$1" '.[] | select(.ParameterKey == $key) | "\(.ParameterKey)=\(env[.[1:]] // .ParameterValue)"' myfile.json
}
aws cloudformation deploy --parameter-overrides "$(override Key1)" "$(override Key2)"

或者，如果您确定/可以保证您的键或值永远不会包含换行符或尾随空格，则以下方法可能有效:

jq -r '.[] | .ParameterValue |= (env[.[1:]] // .) | [.ParameterKey, .ParameterValue] | join("=")' myfile.json \
| xargs -L10 aws cloudformation deploy --parameter-overrides

xargs -L10 使用最多 10 个参数调用 aws(每一行成为一个参数)。根据您的要求进行调整。