node.js - 使用 Node Lambda 通过 JDBC 连接到 AWS Athena 时遇到问题

Question

我的目标

我正在尝试使用AWS's JDBC Driver允许运行 Node 6.10 的 Lambda 函数连接到 AWS Athena 并创建数据库。 (我还希望能够创建和查询该数据库内的表)。

我尝试过的

我已尝试使用 similar question 的答案中的以下代码:

var JDBC = require('jdbc');
var jinst = require('jdbc/lib/jinst');

if (!jinst.isJvmCreated()) {
  jinst.addOption("-Xrs");
  jinst.setupClasspath(['./AthenaJDBC41-*.jar']);
}

var config = {
  // Required 
  url: 'jdbc:awsathena://athena.us-east-1.amazonaws.com:443',
   // Optional 
  drivername: 'com.amazonaws.athena.jdbc.AthenaDriver',
  minpoolsize: 10,
  maxpoolsize: 100,
  properties: {
                s3_staging_dir: 's3://aws-athena-query-results-*/',
                log_path: '/logs/athenajdbc.log',
                user: 'access_key',
                password: 'secret_key'
   }
};


var hsqldb = new JDBC(config);

hsqldb.initialize(function(err) {
  if (err) {
    console.log(err);
  }
});

我看到的错误

当我在自己的计算机(Mac OSX El Capitan 10.11.6)上运行此程序时，我看到弹出窗口如下图所示，其中消息不存在 Java 运行时，请求安装。 打印到我的控制台。

当我将代码部署到 Lambda 并在那里运行时，它失败并显示以下消息:

错误:/var/task/node_modules/java/build/Release/nodejavabridge_bindings.node:无效的 ELF header

在本地运行时，我可以看到 var hsqldb = new JDBC(config); 行失败，但是在 Lambda 上运行时，在需要 JDBC 时立即发生错误(第一行上面的代码)。

更新

无效的 ELF header 问题似乎表明 node_modules/java/build/Release/nodejavabridge_bindings.node 文件是为与以下版本不兼容的架构编译的:运行 AWS Lambda 的版本 (Linux x64)。

这解释了本地运行与在 Lambda 上运行时的行为差异。

我尝试过使用node-gyp专门针对 x64 架构编译资源，发现问题发生变化但未解决。

我成功运行的node-gyp命令是node-gyp configure --arch=x64(在node_modules/java/目录内运行)

在 Lambda 上运行时，我们不再看到无效的 ELF header 错误，而是看到模块初始化错误(请参阅下面的日志)

module initialization error: Error
at Module.load (module.js:487:32)
at tryModuleLoad (module.js:446:12)
at Function.Module._load (module.js:438:3)
at Module.require (module.js:497:17)
at require (internal/module.js:20:19)
at Object.<anonymous> (/var/task/node_modules/java/lib/nodeJavaBridge.js:21:16)
at Module._compile (module.js:570:32)
at Object.Module._extensions..js (module.js:579:10)

Answer 1

您在这里描述了几个问题。

首先是 MacOS 中缺少 JVM。这是 node-java 中记录的错误。此链接描述了该问题的解决方法。

https://github.com/joeferner/node-java/issues/90#issuecomment-45613235

应用该命令并更改“setupClasspath”语句后，您的示例应该可以在本地运行。

jinst.setupClasspath(['./AthenaJDBC41-1.0.1.jar']);

对于 ELF 问题，您无法在 MacOS 中为 Node 构建 Linux 原生模块。由于 npm 不分发预构建版本，因此您只能在目标等效计算机上构建可部署版本。

这意味着您需要在 Linux AMI(最好是 Lambda AMI)上安装/打包模块。

这里有一篇关于如何执行此操作的 AWS 博客文章:

https://aws.amazon.com/blogs/compute/nodejs-packages-in-lambda/

使用的 AMI 版本:

http://docs.aws.amazon.com/lambda/latest/dg/current-supported-versions.html