- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
请注意:虽然我在这个问题中提到了 Java/JDBC,但这严格来说是一个有关 Redshift 故障排除的问题,并且与语言/框架无关!!!
<小时/>这里还有一个 SSCCE 存储库,它完美地重现了挂起问题: https://github.com/bitbythecron/redshift-copy-troubleshooting
我正在尝试从 Java 代码运行以下 Redshift COPY 命令(使用 Postgres JDBC 驱动程序):
COPY my_schema.mytable
FROM 's3://com.example.mybucket/mydata.csv/part-00000-bc1b179d-b4c1-459f-8f5e-8fe361d4b40f-c000.csv'
iam_role 'arn:aws:iam::blah:role/MyRedshiftRole'
csv;
如果我正确阅读了文档,这应该是:
my_schema.mytable
)当我在 Redshift UI 客户端 (SqlWorkbenchJ) 中运行此命令时,它会正确执行并在几秒钟内运行。但是,当我执行以下 JDBC 代码(使用完全相同相同的连接 URL、凭据等)时,代码只是卡在 executeUpdate
处。命令:
Connection conn = null;
Statement statement = null;
try {
Class.forName("org.postgresql.Driver");
Properties props = new Properties();
props.setProperty("user", redshiftInfo.username);
props.setProperty("password", redshiftInfo.password);
log.info("\n\nAttempting to connect!\n\n");
conn = DriverManager.getConnection("jdbc:postgresql://<sameExactUrl_thatIUser_inSqlWorkbenchJ>", props);
log.info("\n\nConnection made!\n\n");
statement = conn.createStatement();
String command = "COPY my_schema.my_table FROM 's3://com.example.mybucket/mydata.csv/part-00000-bc1b179d-b4c1-459f-8f5e-8fe361d4b40f-c000.csv' iam_role 'arn:aws:iam::blah:role/MyRedshiftRole' csv";
log.info("\n\nExecuting...\n\n");
statement.executeUpdate(command);
log.info("\n\nHey I think it worked!!!\n\n");
statement.close();
conn.close();
} catch (Exception ex) {
log.info(ExceptionUtils.getStackTrace(ex));
}
运行时,在日志中我会看到Executing...
log 语句,但随后软件就挂起。我等了长达30分钟,看看是不是因为某种原因速度慢了。我还在这 30 分钟内(以及之后)刷新了我的 SqlWorkbenchJ 连接并运行 SELECT COUNT(*) FROM my_schema.my_table
并且计数始终为 0。因此它建立了连接,但实际上没有复制任何内容,或者如果复制了,则没有提交。
我想看看 Redshift 方面发生了什么:是否有任何表或日志(在 AWS 控制台或其他地方)我可以跟踪或检查记录是否确实被复制并暂存在某处,或者查看从 Redshift 的角度是否报告了任何错误?
最佳答案
您的Java代码没有问题。如果记录数量较少,它工作得很好。
create table my_table (
c_name varchar(25) not null,
c_address varchar(25) not null,
c_city varchar(25) not null);
使用 data# 创建一个 CSV 并将其放入仅包含 2-3 条记录的 S3 中,
one,two,three
example1,example2,example3
然后,运行您的代码,它将出现以下输出。
Attempting to connect!
Connection made!
Executing...
Hey I think it worked!!!
现在,做
Select * from my_table;
c_name | c_address | c_city
----------+-----------+----------
one | two | three
example1 | example2 | example3
回到你的问题,为什么你在 Select * from my_table;
中看到 0 条记录
事实:Amazon Redshift 完全满足 ACID 要求,这意味着在您的复制命令完成并提交之前,您将不会在 SELECT 中看到任何记录。
解决方案:您想看看您的查询发生了什么,是被执行还是被终止?
您可以运行以下命令来查看所有当前正在运行的查询。
select pid, user_name, starttime, query from stv_recents where status='Running';
//OR
select query, pid, elapsed, substring from svl_qlog where userid = 100 order by starttime desc limit 5;
请参阅 AWS Redshift system query文档以获取更多详细信息。
关于java - 排查 AWS Redshift 上的 COPY 错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50474428/
对于在 AWS 云中配置基础设施,我们目前使用从 ansible 角色调用的云形成模板,但我们发现在增加基础设施的规模后,此代码在 GitHub 中变得非结构化或未模块化 Github上有意大利面条式
我一直在阅读documentation for AWS Cloudwatch events至trigger AWS Batch我不知道如何从 cloudwatch 事件触发 aws 批处理: 在 aw
我正在尝试使用入口控制器安装我的CA证书。我正在遵循这份指南。Https://docs.aws.amazon.com/eks/latest/userguide/aws-load-balancer-co
如何使用 aws cloudformation 或 aws cdk 设置 aws aurora mysql 表? 在我的设置中,我有一个使用 lambda 实现各种微服务的无服务器应用程序。数据库是无
我看到了各种使用 AWS CDK 的示例,其中一些使用 aws-cdk-lib,另一些使用 @aws-cdk/core。这些之间有什么区别,什么时候应该使用一个或另一个? 最佳答案 aws-cdk-l
我看到了各种使用 AWS CDK 的示例,其中一些使用 aws-cdk-lib,另一些使用 @aws-cdk/core。这些之间有什么区别,什么时候应该使用一个或另一个? 最佳答案 aws-cdk-l
我在 cdk 研讨会上建立了一个小的 lambda 函数 here .我正在用 typescript 编写 lambda 函数,通过管道进行部署,该管道创建了一个包含 lambda 函数的云形成堆栈。
我刚刚开始使用 AWS 服务,尤其是 AWS Lambda。有没有办法从 Lambda 代码 (Java) 中使用 AWS KMS 服务。我想使用 KMS 来解密加密的外化(从属性读取) secret
CFN 模板是否可以根据参数向 ALB 添加一些特定的安全组? 我遇到了两个安全组添加到 ALB 的情况: ALB Type: AWS::ElasticLoadBalancingV2::LoadB
例如,我有一个主要公司 AWS 账户,其安全组为 xxxxx。现在我有了我的个人 aws 安全组-yyyyy。这些帐户根本不相关。我可以将接受组-yyyyy 添加到组-xxxxx 中,从而允许我的
我有一个 Lambda 函数,它有多个 MSK 触发器配置 - 每个都针对不同的主题。 如果 Lambda 的输入 ( MSKEvent ) 可以包含多个不同的主题,则未在官方文档中找到任何信息。 官
在 AWS Glue 中创建 JDBC 连接时,有什么方法可以从 AWS secret manager 获取密码而不是手动硬编码吗? 最佳答案 我必须在我当前的项目中这样做才能连接到 Cassandr
谁能告诉我: aws-sdk/clients/appsync , 和 aws-appsync 根据文档,aws-sdk/clients/appsync使用是因为只包括 aws-sdk当我们只需要 ap
我不小心删除了我的放大前端并创建了一个新前端。如何将现有的放大后端导入新创建的放大应用项目文件夹? 我按照后端标签上的步骤操作 amplify init --appId(“您的新AMPLIFY APP
我正在使用 Java Sdk 创建粘合作业。它只有两个必需的参数 Command 和 Glue 版本。 但我需要使用自动脚本生成来创建工作。正如我们可以从控制台做的那样,我们添加数据源、AWS Glu
目前我正在使用 AWS Glue 作业将数据加载到 RedShift,但在加载之后我需要运行一些可能使用 AWS Lambda 函数的数据清理任务。有没有办法在 Glue 作业结束时触发 Lambda
简单的 aws lambda 和 aws lambda@edge 有什么区别? 最佳答案 Lambda 根据某些触发器执行函数。 Lambda 的用例非常广泛,并且与许多 AWS 服务高度集成。您甚至
关闭。这个问题是opinion-based 。目前不接受答案。 想要改进这个问题吗?更新问题,以便 editing this post 可以用事实和引文来回答它。 . 已关闭 9 个月前。 社区 9
我正在尝试使用 Python 使用 AWS-CDK 创建托管广告。以下是错误,从 JavaScriptError(resp.stack) 引发 JSIIError(resp.error)jsii.er
这两个包似乎在很大程度上做同样的事情?这两个包之间的预期区别是什么,我应该使用哪个包? 最佳答案 Pipelines 是较新的 --experimental-- (编辑:它不再在 Experiment
我是一名优秀的程序员,十分优秀!