个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
我有一个 S3 存储桶，每天都在其中转储文件。 AWS 爬虫从这个位置爬取数据。在我的胶水作业运行的第一天，它会获取由 AWS 爬虫创建的表中存在的所有数据。例如，在第一天有三个文件。(即 file1.txt)。 txt,file2.txt,file3.txt) 和粘合作业在粘合作业执行的第一天处理这些文件。第二天，另外两个文件到达 S3 位置。现在在 S3 位置这些是存在的文件。(即 file1 .txt,file2.txt,file3.txt,file4.txt,file5.txt。我能否以某种方式设计我的 AWS 爬虫，使其在作业执行的第二天只读取两个文件(file4.txt,file5 .txt)？否则我如何编写 AWS 粘合作业来识别这些增量文件？
最佳答案
您需要为胶水启用 AWS 作业书签，它将能够保留已处理数据的状态。您可以引用以下链接了解如何操作。
aws glue job bookmark
关于amazon-web-services - AWS 胶水增量加载，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/53577282/
25
4
0
我想知道 Amazon CloudSearch 和 Kendra 之间的主要区别是什么？为什么同一家公司的产品有两种不同的工具相互竞争？两者看起来都一样，我不确定功能有何不同。它是如何相互区分的。 A
我在一家小型电子商务网站工作，我们希望迁移到所有 Amazon 托管服务，但我不确定 RDS 和 SimpleDB 的确切区别。 RDS可以用MySQL，SimpleDB不行吗？ 最佳答案 RDS 基
关闭。这个问题是opinion-based .它目前不接受答案。 想改善这个问题吗？更新问题，以便可以通过 editing this post 用事实和引文回答问题. 7年前关闭。 Improve t
任何人都知道如何 ELB如果我注册多个 EC2 将分发请求不同大小的实例。说一 m1.medium , 一 m1.large和一个 m1.xlarge . 如果我注册EC2会不会不一样相同大小的实例？
Amazon EventBridge 使开发人员能够将第 3 方事件驱动的应用程序与 Amazon 服务连接起来。 Amazon AppFlow 还提供与第 3 方应用程序的事件驱动集成。 对于事件驱
我想通过电子邮件或短信向特定用户(只有一个)发送验证码。我已经通过 Amazon SES 成功地做到了。但我没有尝试通过Amazon SMS然而。我发现自己陷入了调查的兔子洞AWS Pinpoint
关闭。这个问题不满足Stack Overflow guidelines .它目前不接受答案。 想改善这个问题吗？更新问题，使其成为 on-topic对于堆栈溢出。 6年前关闭。 Improve thi
我想使用 Amazon Glacier 镜像 S3 存储桶。 Glacier FAQ状态: Amazon S3 now provides a new storage option that enabl
我正在尝试在 Amazon RDS 上托管数据库，而数据库将存储信息的实际内容(视频)将托管在 Amazon S3 上。我对这个过程有一些疑问，希望有人能帮助我。 Amazon RDS 上托管的数
我刚刚开始使用 AWS EC2。我知道 EC2 就像一台远程计算机，我几乎可以在其中完成我想做的所有事情。后来我知道了ECS。我知道它使用 Docker，但我对这两者之间的关系感到困惑。 ECS 只是
什么时候我会使用 SNS 和 SQS，为什么它们总是耦合在一起？ 最佳答案 SNS是一个分布式发布-订阅系统。当发布者将消息发送到 SNS 时，消息就会被推送给订阅者。 SQS是分布式排队系统。消息不
已关闭。此问题不符合Stack Overflow guidelines 。目前不接受答案。 这个问题似乎不是关于 a specific programming problem, a software
已关闭。这个问题是 off-topic 。目前不接受答案。 想要改进这个问题吗？ Update the question所以它是on-topic用于堆栈溢出。 已关闭10 年前。 Improve th
我计划在 amazon EC2 中拥有一个多服务器架构，其中服务器需要相互通信。这些服务器需要位于不同的亚马逊地区(不同的数据中心)。我可以只使用亚马逊ec2的内部网络吗？有哪些安全问题？我是否应该在
我在帐户 B 中有 S3 存储桶“跨存储桶”。现在我希望帐户 A 中存在的 EC2 访问帐户 B 中的此存储桶“跨存储桶”。 我需要使用 IAM 角色来实现此目的，因为我们不允许创建用户。 我已使用以
我有使用 Backbone.js 构建的单页应用程序。 我在 Amazon S3 上托管应用程序(应用程序仅包含静态文件)。 我使用 CloudFront 作为 Bucket CDN。 应用程序通过
我可以连接到 ElastiCache来自 EC2 实例 的 VPC 中的 Redis 实例。但我想知道是否有办法连接到 Amazon EC2 实例之外的 ElastiCache Redis 节点，例如
我有几个微实例可以正常工作数周。两者都在运行WordPress博客。在过去的24小时内，其中一个已经停止。即使重新启动，我也无法插入。另一个实例工作正常。 ssh: connect to host e
我尝试了以下方法: SELECT * FROM generate_series(2,4); generate_series ----------------- 2
如何使用PHP API将包含子文件夹和文件的文件夹复制/复制到S3存储桶中的另一个目录中？ $s3->copy_object仅复制文件夹，而不复制其中的文件和子文件夹。 我是否必须使用$s3->lis
我是一名优秀的程序员,十分优秀！