mysql - Lambda + Sequelize 随机得到 SequelizeConnectionError ETIMEDOUT

Question

我们在 Aws Lambda 中使用 Sequelize 并且在大多数情况下一切正常，但随机出现以下错误:

ETIMEDOUT {"name":"SequelizeConnectionError","parent":{"errorno":"ETIMEDOUT","code":"ETIMEDOUT","syscall":"connect","fatal":true},"original":{"errorno":"ETIMEDOUT","code":"ETIMEDOUT","syscall":"connect","fatal":true}}

我们正在使用 Rds - mysql 8.0.15、Serverless 框架、serverless-http、serverless-webpack。
这是我们的文件配置。

//db.js

... import all models

const sequelize = new Sequelize(
  process.env.DATABASE,
  process.env.DB_USER,
  process.env.DB_PASSWORD,
  {
    host: process.env.DB_HOST,
    port: process.env.STAGE === "dev" ? 3306 : 31304,
    dialect: "mysql",
    dialectOptions: { decimalNumbers: true },
    pool: {
      max: 10,
      min: 0
    }
  }
);

const models = {};

// Initialize models
modules.forEach(module => ...

export default models;

//handler.js

import express from "express";
import serverless from "serverless-http";
import db from "./db";

const app = express();

app.use(async (req, res, next) => {
  try {
    const email = "get email from jwt ...";
    req.user = await db.user.findOne({
      where: { email }
    });

    return next();
  } catch (e) {
    logger.warn("An error occurred" , e);
    res.status(500).send({ message: e.message });
  }
});

app.use("/api", api);

app.get("*", (req, res) =>
  res.status(404).json({ errorCode: 0, message: "Unrecognized route" })
);

const handler = serverless(app);

module.exports.handler = async (event, context) => {
  context.callbackWaitsForEmptyEventLoop = false;
  return handler(event, context);
};

我认为我们可能达到了最大 mysql 连接数(在我的实例中是 66 个)，但是 rds 仪表板显示我们拥有的最多是 40 年代。

我们做错了什么？

Answer 1

尽管您说您没有达到最大连接数，但您仍可能想尝试为您的 Lambda 函数创建一个 Amazon RDS Proxy 以供访问，以高负载命中它，然后查看您是否能够重现该错误。
您确实没有足够的日志来诊断问题，如果上述方法不起作用，您将需要更深入地研究，可能启用更多 RDS 日志记录以查看是否会告诉您问题。
解决问题的其他方法是，如果您纠正了在另一种语言/框架中执行的相同查询，模拟并查看问题是否仍然存在。
您可能还想检查 Cloudwatch 指标是否有任何其他线索，这可以为您提供有关问题所在的线索。在同一图表上绘制您的 Lambda 资源指标和 RDS 实例指标，以查看是否存在与 Lambda 函数何时出错以及您的数据库正在做什么有关的任何模式，例如如果您的写入或读取延迟增加，是否会发生错误。
如果问题仍然存在，而您无法解决它，那么您可能能做的最好的事情就是实现重试，这只会掩盖问题，但如果老板在您身边寻求解决方案，这可能是您最好的选择。
希望我的建议有所帮助，我在 DB+Lambda 和 DB+ECS 上遇到过类似的问题，并发现它们是有效的故障排除策略。