python-3.x - 通过 SQL Auth 代理将 Cloud Run Flask 应用程序连接到 Cloud SQL for PostgreSQL 总是抛出错误

Question

正如标题所说，我有一个 Flask 应用程序，在云上运行，我试图连接到我有一个 postgres 实例的 Cloud SQL。

经过多次调试后，我将应用精简到最低限度，我在 Cloud Run 日志中收到以下错误: Cloud SQL instance "<instance-name>" is not reachable. Deploy a new revision adding the Cloud SQL connection. See documentation: https://cloud.google.com/sql/docs/mysql/connect-run

但我确实配置了云 SQL 连接。

然后是一个很长的 python 堆栈跟踪，如果没有数据库连接，我们会期望它，我认为这没有用，所以我没有在此处包含它。

TL;DR:我感觉问题是我使用了不正确的 DB_HOST IP 地址以确保使用 SQL Auth 代理，我应该在 DB_URI 中使用什么字符串？

我按照 this 中的步骤操作与official documentation基本相同的帖子.

我所做的总结:

• 我有一个带有公共(public) IP 的 PostgreSQL 实例
• 我做了一张新 table
• 我使用 gcloud run deploy 部署了我的代码
• 我添加了 Cloud SQL Client角色分配给用于云运行服务的服务帐户。
• 我进行了修改，将 Cloud SQL 连接添加到云运行服务中，详见 docs above
• 我还添加了 DB_USER , DB_HOST , DB_PASS等作为修订版中的环境变量。

我使用 SQL Auth 代理在本地对此进行了测试，它按预期工作。在运行 auth 代理的终端中，我可以看到一行 New connection for "<instance-connection-name>"所以它在本地工作。我用了127.0.0.1作为 DB_HOST在本地运行时。对于上下文，我的 DB URI 在我的本地机器上是不同的，因为我运行的是 Windows，我不能使用 unix 套接字。

在云运行中，我尝试设置 DB_HOST到两个127.0.0.1和数据库公共(public) IP 地址，都产生相同的错误。

我的 ./run.py我用来运行应用程序的文件。

from sampleapp import app

if __name__ == "__main__":
    app.run(debug=True, host='127.0.0.1', port=int(os.environ.get("PORT", 8000)))

我的 ./sampleapp/__init__.py其中包含应用程序实例化。

from flask import Flask
from flask_sqlalchemy import SQLAlchemy
import os

LOCAL_TESTING = bool(os.environ.get("LOCAL_TESTING", False)) # Set to True if running locally

DB_USER = os.getenv('DB_USER')
DB_PASS = os.getenv('DB_PASS')
DB_NAME = os.getenv('DB_NAME')
DB_HOST = os.getenv('DB_HOST')
DB_PORT = os.getenv('DB_PORT')

app = Flask(__name__)
app.config['SECRET_KEY'] = os.getenv('SECRET_KEY')
app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = False
app.config['DEBUG'] = os.getenv('DEBUG', False)

if LOCAL_TESTING == True:
    # This is what runs on my local machine
    print("Using tcp connection to db")
    DB_URI = f'postgresql+pg8000://{DB_USER}:{DB_PASS}@{DB_HOST}:{DB_PORT}/{DB_NAME}'
else:
    # This run on cloud run
    print("Using unix_sock connection to db")
    db_socket_dir = os.environ.get("DB_SOCKET_DIR", "/cloudsql")
    DB_URI = f'postgresql+pg8000://{DB_USER}:{DB_PASS}@/{DB_NAME}?unix_sock={db_socket_dir}/{DB_INSTANCE_NAME}/.s.PGSQL.5432'
app.config['SQLALCHEMY_DATABASE_URI'] = DB_URI
db = SQLAlchemy(app)

from sampleapp import routes

上面的数据库 URI 取自 docs 中的代码片段但不是使用 sqlalchemy.create_engine()我正在使用 flask-sqlalchemy 而不是 sqlalchemy.engine.url.URL.create()我只是在制作我自己的 URI 字符串。

我的 ./Dockerfile 中的执行行:

CMD exec gunicorn --bind :$PORT --workers 1 --threads 8 --timeout 0 run:app

从我的云运行日志中，我可以看到我的路由在我尝试访问数据库之前工作正常。

来自阅读this answer和 the Cloud SQL Python connector 上的文档我应该使用来自谷歌的连接器代码，但我不知道如何在 flask_sqlalchemy 的上下文中使用它因为谷歌总是使用标准的 sqlalchemy。我不知道如何分配 engine将 google 代码片段中的对象指向 flask-sqlalchemy SQLAlchemy我用于 db 的对象.

很抱歉这个问题很长，我已经尝试调试了很长时间但无济于事。非常感谢任何建议。

Answer 1

我制作了一个部署在 Cloud Run 上的基本应用，与您的设置类似。对于 local testing ，我也使用了 Unix Sockets 连接:

./cloud_sql_proxy -dir=$DB_SOCKET_DIR --instances=$INSTANCE_CONNECTION_NAME --credential_file=$GOOGLE_APPLICATION_CREDENTIALS &

当您的 Cloud Run 服务连接到公共(public) Cloud SQL 实例时，它是 using Unix Socket 连接，因此未使用 DB_HOST 和 DB_PORT 变量。仅在您所说的按预期工作的本地测试期间。

除此之外，您的代码中不清楚 DB_INSTANCE_NAME 的来源(您的 Cloud SQL 实例的实例连接名称)。 DB_NAME 是您在 Postgres 实例中查询的数据库名称(起初我不清楚)。

主.py

from flask import Flask
from flask_sqlalchemy import SQLAlchemy
import os

db_user = os.environ["DB_USER"]
db_pass = os.environ["DB_PASS"]
db_name = os.environ["DB_NAME"]
db_socket_dir = os.environ.get("DB_SOCKET_DIR", "/cloudsql")
instance_connection_name = os.environ["INSTANCE_CONNECTION_NAME"]
DB_URI = f"postgresql+pg8000://{db_user}:{db_pass}@/{db_name}?unix_sock={db_socket_dir}/{instance_connection_name}/.s.PGSQL.5432"

app = Flask(__name__)
app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = False
app.config['SQLALCHEMY_DATABASE_URI'] = DB_URI

db = SQLAlchemy(app)

# Model to map to user table in postgres
class User(db.Model):
    id = db.Column(db.Integer, primary_key=True)
    fullname = db.Column(db.String(255), unique=False, nullable=True)

#Fetches and displays a value from CloudSQL for testing
@app.route("/")
def hello_query():
    message = User.query.filter_by(id=1).first()
    return "Hello world, message: {}!".format(message.fullname)

if __name__ == "__main__":
    app.run(debug=True, host="127.0.0.1", port=int(os.environ.get("PORT", 8080)))

部署命令(仅供测试)

gcloud run deploy cloudrunpostgres \
--add-cloudsql-instances=$INSTANCE_CONNECTION_NAME \
--update-secrets=INSTANCE_CONNECTION_NAME=INSTANCE_CONNECTION_NAME:latest \
--update-secrets=DB_USER=DB_USER:latest \
--update-secrets=DB_PASS=DB_PASS:latest \
--update-secrets=DB_NAME=DB_NAME:latest \
--source . \
--service-account=$SERVICE_ACCT \
--max-instances=3 \
--allow-unauthenticated \
--region=us-central1

这既适用于本地主机，也适用于作为服务部署，我希望这对命令和代码中的引用有用。

注意:我确实安装了 cloud-sql-python-connector，因为它还安装了 pg8000 驱动程序作为依赖项(除了安装 Flask , SQLALchemy 和 Flask-SQLAlchemy)