postgresql - 适用于 Postgres 的 GCP Cloud SQL 查询日志记录

Question

几周来，我一直在努力尝试获取一个 Cloud SQL Postgres 实例来执行任何类型的查询日志记录，但我只是没有得到任何结果。我意识到这应该是一个 super 简单的练习，但我没有更多的解释可以给出，因为它似乎不起作用。

我试过设置以下标志:

log_min_duration_statement 值为 0、100、500 和 1000。

log_statement，值为“ddl”、“mod”和“all”。

log_statement_stats 设置为“开启”。

我还尝试了这里列出的许多其他“可能的嫌疑人”:https://cloud.google.com/sql/docs/postgres/flags无济于事。

我什至尝试启用 pgaudit 日志，但似乎没有任何作用。

鉴于此，总是有可能记录这些数据，但我只是没有找到它，所以在 stackdriver 中，我的过滤器是:

resource.type="cloudsql_database"
resource.labels.database_id="<<project-name>>:<<instance-name>>"

它向我显示了数据库上发生的任何错误，例如查询不存在的表，或尝试比较两种不同的数据类型，但没有任何类型的查询。

我什至用以下方法扫描了我们所有的日志:

textPayload:"select"

这也没有出现任何东西。

任何建议、提示或技巧将不胜感激!

编辑:附加信息。

此图中描述了我正在测试的实例:

我能够在我的所有模式上创建 pgaudit 扩展，而不会出现任何错误。 psql 客户端简单地回显“CREATE EXTENSION”。

我正在使用私有(private) IP 从 GKE 环境连接到实例，我的应用程序同时运行 DDL 和 DML 语句。

这是我在云控制台的访问部分为云 SQL 启用的“审计日志”的图像:

这是我用于负载测试的全新实例，所以每天早上我都会使用 Terraform 脚本创建一个新实例，这里是相关资源:

resource "google_sql_database_instance" "loadtesting_postgres_master" {
   database_version = "POSTGRES_12"
   name             = "loadtesting-test-instance-12"
   project          = "${var.projectId}"
   region           = "${var.region}"

   depends_on = ["google_service_networking_connection.private_vpc_connection"]
   deletion_protection = false

   settings {

activation_policy = "ALWAYS"
availability_type = "ZONAL"

backup_configuration {
  binary_log_enabled             = "false"
  enabled                        = "true"
  location                       = "eu"
  point_in_time_recovery_enabled = "true"
  start_time                     = "03:00"
}

disk_autoresize        = "false"
disk_size              = "1000"
disk_type              = "PD_SSD"

ip_configuration {
  ipv4_enabled    = "true"
  private_network = "projects/my-project-name/global/networks/loadtesting-vpc"
  require_ssl     = "false"
}

location_preference {
  zone = "${var.region}"
}

maintenance_window {
  day  = "7"
  hour = "0"
}

pricing_plan     = "PER_USE"
tier             = "db-custom-8-15360"
  }
}

实例启动后，我手动添加您推荐的两个标志，一次一个。

在我的每个模式上手动创建 pg 审计扩展，并开始运行我的测试。

stackdriver 上仍然没有任何记录。

Answer 1

所以看起来您需要启用 pgaudit flags . (目前处于测试阶段)

总结链接:

INSTANCE_NAME=sql-playground
gcloud sql instances patch $INSTANCE_NAME --database-flags cloudsql.enable_pgaudit=on`
gcloud sql connect $INSTANCE_NAME

一旦进入数据库，运行这个:

> CREATE EXTENSION pgaudit;

然后回到 gcloud land:

gcloud sql instances patch $INSTANCE_NAME --database-flags \
  cloudsql.enable_pgaudit=on,pgaudit.log=all

它需要重新启动一两次，中间需要一些时间，但我确实让它记录了语句:

当然，在生产环境和 PII 数据等方面要小心。