postgresql - 如何使用自定义参数组对 CloudFormation 中的 Aurora Postgres 进行主要版本升级？

Question

问题

我正在尝试使用 Cloudformation 将主要版本从 Aurora Postgres 10.14 升级到 11.9。我的模板创建了一个 DBCluster , 一个 DBInstance , 一个 DBClusterParameterGroup和一个 DBParameterGroup .

问题是当我尝试更新堆栈并更改 EngineVersion 时DBCluster 的属性(property)来自 10.14至 11.9并更改 Family DBClusterParameterGroup 的属性(property)和 DBParameterGroup来自 aurora-postgresql10至 aurora-postgresql11 ，我在 CloudFormation 中收到此错误:

错误

The following parameters are not defined for the specified group: enable_partitionwise_aggregate, enable_parallel_append, enable_partition_pruning, vacuum_cleanup_index_scale_factor, pg_bigm.last_update, apg_enable_semijoin_push_down, parallel_leader_participation, pg_bigm.enable_recheck, pg_bigm.gin_key_limit, max_parallel_maintenance_workers, pg_bigm.similarity_limit, enable_parallel_hash, enable_partitionwise_join (Service: AmazonRDS; Status Code: 400; Error Code: InvalidParameterValue)

我认为这是因为，根据AWS Documentation对于 RDS 参数组:

The DB cluster parameter group family can't be changed when updating a DB cluster parameter group

所以即使我正在尝试更新 Family DBClusterParameterGroup 的属性(property)和 DBParameterGroup , CloudFormation 只是忽略了这一点，因此它正在尝试应用 aurora-postgresql10参数组系列 aurora-postgresql10到现在尝试运行 Aurora Postgres 11.9 的数据库

我尝试过的

• 更新 Description属性(property)DBClusterParameterGroup and数据库参数组 to include a reference to the pEngineVersion` 参数，作为 AWS 文档说这会触发替换，但实际上并没有这个，所以我得到了同样的错误
• 手动添加错误中列出的参数到DBParameterGroup在运行更新之前。出现错误“不可修改的数据库参数:pg_bigm.last_update”

我发现的唯一解决方法是笨拙:

1. 在控制台中手动将数据库版本从 10.14 更新到 11.9，并更改 DB cluster parameter group和 Parameter group都到default.aurora-postgresql11还有
2. 注释掉 DBClusterParameterGroup 的代码和 DBParameterGroup并使用更新后的 EngineVersion 更新堆栈11.9对于 DBCluster
3. 取消注释 DBClusterParameterGroup 的代码和 DBParameterGroup并使用正确的 Family 再次更新堆栈属性(property)aurora-postgresql11在 DBClusterParameterGroup和 DBParameterGroup .现在数据库更新了，使用的是自定义参数组，栈没有漂移

代码

Parameters:

  pEngineVersion:
    Type: String
    #currently '10.14'
    #trying to change to '11.9'
  pFamily:
    Type: String
    #currently 'aurora-postgresql10'
    #trying to change to 'aurora-postgresql11'

Resources:

  DBClusterParamGroup:
    Type: AWS::RDS::DBClusterParameterGroup
    Properties:
      Description: !Sub 'AuroraDBClusterParamGroup-${AWS::Region}'
      Family: !Ref pFamily
      Parameters:
        application_name: "App name"
        log_statement: all
        log_min_duration_statement: 0

  DBParamGroup:
    Type: AWS::RDS::DBParameterGroup
    Properties:
      Description: !Sub 'AuroraDBParamGroup-${AWS::Region}'
      Family: !Ref pFamily
      Parameters:
        max_connections: 1000

  AuroraDBCluster:
    Type: AWS::RDS::DBCluster
    Properties:
      EngineVersion: !Ref pEngineVersion
      Engine: aurora-postgresql
      DBClusterParameterGroupName: !Ref 'DBClusterParamGroup'
      #snipping unneccesary code#

  AuroraDBInstance:
    Type: AWS::RDS::DBInstance
    Properties:
      Engine: aurora-postgresql
      DBParameterGroupName: !Ref 'DBParamGroup'
      DBClusterIdentifier: !Ref 'AuroraDBCluster'
      #snipping unneccesary code#
      

任何帮助将不胜感激

Answer 1

解决方案

这个方法对我有用(我稍微修改了一些东西以在公共(public)论坛上发帖)编辑:我已经更新了这个以使用蓝/绿解决方案，因为我有机会对其进行测试。

Parameters:
[...]
  DBEngineVersion:
    Type: String
    Description: "Choices are engine versions from Postgres 9/10/11, only newest and legacy deployed in Prod versions"
    Default: 11.7
    AllowedValues:
      - 9.6.18
      - 10.7
      - 10.14
      - 11.7
  MajorVersionUpgrade:
    Type: String
    Description: Swap this between 'Blue' or 'Green' if we are doing a Major version upgrade
    Default: Blue
    AllowedValues:
      - Blue
      - Green

Conditions:
  BlueDeployment: !Equals [!Ref MajorVersionUpgrade, "Blue"]
  GreenDeployment: !Equals [!Ref MajorVersionUpgrade, "Green"]
  
Mappings:
  EngineToPGFamily:
    "9.6.18":
      PGFamily: aurora-postgresql9.6
    "10.7":
      PGFamily: aurora-postgresql10
    "10.14":
      PGFamily: aurora-postgresql10
    "11.7":
      PGFamily: aurora-postgresql11

  ##### Keep parameters of both versions in sync ####
  DBClusterParameterGroupBlue: #Keep parameters of both versions in sync
    Type: "AWS::RDS::DBClusterParameterGroup"
    Condition: BlueDeployment
    Properties:
      Description: !Sub "Postgres Cluster Parameter Group for ${InfrastructureStackName}"
      Family: !FindInMap ['EngineToPGFamily', !Ref 'DBEngineVersion', 'PGFamily']
      Parameters:
        client_encoding: UTF8
        idle_in_transaction_session_timeout: 60000
  DBClusterParameterGroupGreen:
    Type: "AWS::RDS::DBClusterParameterGroup"
    Condition: GreenDeployment
    Properties:
      Description: !Sub "Postgres Cluster Parameter Group for ${InfrastructureStackName}"
      Family: !FindInMap ['EngineToPGFamily', !Ref 'DBEngineVersion', 'PGFamily']
      Parameters:
        client_encoding: UTF8
        idle_in_transaction_session_timeout: 60000

  DBCluster:
    Type: "AWS::RDS::DBCluster"
    Properties:
      DBClusterIdentifier: !Sub "${AWS::StackName}-cluster"
      DBClusterParameterGroupName: !If [GreenDeployment, !Ref DBClusterParameterGroupGreen, !Ref DBClusterParameterGroupBlue]
      Engine: aurora-postgresql
[...]
  DBInstance1:
    Type: "AWS::RDS::DBInstance"
    Properties:
      DBClusterIdentifier: !Ref DBCluster
      EngineVersion: !Ref DBEngineVersion
      Engine: aurora-postgresql
[...]

  DBInstance2:
    Type: "AWS::RDS::DBInstance"
    Properties:
      DBClusterIdentifier: !Ref DBCluster
      EngineVersion: !Ref DBEngineVersion
      Engine: aurora-postgresql
[...]

用法和方法论

此方法将创建一个新的 ClusterParameterGroup，它将在升级期间(进行主要版本升级时)使用，并在升级完成后清理原始组。此解决方案的优点是组中没有版本硬编码，并且可以使用相同的模板进行连续的生命周期更新，而无需进行额外更改(除了所需的 Parameters 更新之外)。

初始设置

最初，将 MajorVersionUpgrade 设置为 Blue，条件将确保仅使用正确的数据库系列创建 Blue ParameterGroup。

执行主要版本升级

更新堆栈并将 DBEngineVersion 设置为新的主要版本 并将 MajorVersionUpgrade 设置为 Green 如果它当前是蓝色(或者蓝色如果它当前是绿色)。 CloudFormation 将:

1. 首先创建新资源(这是引用新版本的新参数组)
2. 然后它将更新集群并指向那个新组
3. 最后，它将在清理阶段删除旧的 ParameterGroup(引用旧版本)，因为该组的蓝/绿条件不再评估为真。

重要说明

1. 两个参数组中的参数必须手动保持同步
2. 显然，根据需要用版本更新 DBEngineVersion AllowedValues 列表，只需确保更新 EngineToPGFamily Mappings 为该引擎版本提供有效的 Postgres 系列值
3. 在实现 Parameters 时必须特别小心，这些 Parameters 是 DB Major 版本的新参数，而旧版本中不存在，我没有测试过这个