个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
27
4
我们创建了一个快速的概念验证，以将 DynamoDB 表中的更改流式传输到 Lambda 函数。此函数执行一些基本的 ETL 处理并将记录放在 Firehose 上。这个 Firehose 将 Parquet 文件写入 S3，用于一些 Athena 查询。这对于插入非常有效且容易，但我想知道是否有处理删除或更新的提示或最佳实践。
我依稀记得在过去的一个 session 上，有人运行批处理作业来压缩数据并删除标记的数据，但我找不到这方面的任何细节。更改数据捕获是另一个术语，但我还没有看到这方面的明确示例。有没有一种方法可以处理此流式传输设置中的更新？
更新:我的问题措辞可能不太好，因为很多重点都放在了 S3 上。我真的在寻找一种流程来处理 DynamoDB 流中传入的删除和更新，将它们保存在某个地方，然后定期更新 Parquet 文件以反射(reflect)这些更新和删除。也许还需要一些压实，但在我的实验的这个阶段“很高兴”。
最佳答案
根据我对您的问题的理解，您想要处理 s3 上的文件，因此我建议您使用 AWS Glue。您可以根据自己的要求创造就业机会。
如果您使用 Amazon S3 存储桶作为数据源，AWS Glue Studio 会从其中一个文件或使用您指定的文件作为示例文件来检测指定位置的数据架构。
请引用:https://docs.aws.amazon.com/glue/latest/ug/edit-jobs-source-s3-files.html
关于amazon-web-services - 在 Parquet 文件中将数据流式传输到 S3 时 DynamoDB 的删除和更新，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/68206378/
27
4
0
是否可以插入到初始表，然后使用插入的 ID 插入到主表中，该主表在一个数据流的列之间具有外键约束？ 我是集成服务的新手，不知道这些功能 场景: 表 A - ID - DESC 表 B - ID - A
在 Azure 数据流中，在聚合转换中是否可以在分组依据中动态包含列？我在分组依据中可能需要 8 列，具体取决于它们的值，即如果值为 1，则包含在分组依据中。 简化为 2 列: Column1
我想要实现的是在azure数据流中包含错误处理，如果在传输行时发生错误，它不应该失败，它会处理其他行并将发生错误的行的ID保存在文本文件或日志中 示例: 假设我们有 10 行要沉入表中，不知何故我们在
我的数据流作业将源和接收器作为突触数据库。 我在从突触数据库提取数据时有一个源查询，其中包含数据流中的联接和转换。 众所周知，底层的数据流将启动 databricks 集群来执行数据流代码。 我的问题
这是关于非常常见的传感器数据处理问题。 为了同步和合并来自不同来源的传感器数据，我想用 Java 实现它，而不需要太复杂的第三个库或框架。 假设我定义了一个对象 (O)，它由 4 个属性 (A1,..
我开始从事一个项目，我需要使用 PowerTrack/GNIP 流式传输 Twitter 数据，老实说，我在网络方面非常非常缺乏经验，而且我完全不了解网络方面的知识到数据流 (HTTP)，它们如何工作
我有一个后端要用 Python 实现，它应该将数据流式传输到 JavaScript 正在创建表示的 Web 浏览器(例如，不断更新变量或绘制到 )。 该数据将以高达 100 Hz 的速率更新(最坏情
我构建了一个简单的 MERN 应用程序，用户可以在其中对电话号码进行评分。用户只需填写电话号码，选择评级(1 - 5 星评级)、城市和短文本。该应用程序具有带过滤和排序选项的搜索功能。这一切都足够好
我在 TPL 数据流上使用顺序管道构建，它由 3 个块组成: B1 - 准备消息 B2 - 将消息发布到远程服务 B3 - 保存结果 问题是如何在发生服务关闭等错误时关闭管道。管道必须以受控方式关闭，
我在 ADF 数据流中有一个数据集(ADLS Gen2 中存在的 csv 文件)。我第一次尝试进行数据预览时，原始文件中的所有列都正确显示。然后，我从 csv 文件中删除了第一列并刷新了“数据预览”选
我正在使用 ADF v2 DataFlow ativity 将数据从 Blob 存储中的 csv 文件加载到 Azure SQL 数据库中的表中。在数据流(源 - Blob 存储)中，在源选项中，有一
我有很多带有嵌套列表的 json 文件需要展平。问题是它们是不同的，我不想为它们每一个创建一个分支。如何通过输入参数动态执行具有“展开依据”和“输入列”字段的展平事件？ 谢谢! 最佳答案 对于展开方式
我一直在尝试使用 Azure 数据工厂的数据流在文件的小数列中进行数据类型检查，但它没有按预期工作。我的问题如下: 我想检查数字 121012132.12 是否为小数，因此我使用数据流的派生列并编写表
我们使用 Azure 数据流在 Azure SQL 数据仓库中生成数据表的历史记录。在数据流中，我们在所有列上使用 md5 或 sha1 函数来生成唯一的行指纹来检测记录中的更改，或识别已删除/新记录
我们使用 Azure 数据流在 Azure SQL 数据仓库中生成数据表的历史记录。在数据流中，我们在所有列上使用 md5 或 sha1 函数来生成唯一的行指纹来检测记录中的更改，或识别已删除/新记录
我之前使用 bz2 来尝试解压缩输入。我想要解码的输入已经是压缩格式，因此我决定将格式输入到交互式 Python 控制台中: >>> import bz2 >>> bz2.decompress(inp
在测试 WPF 项目中，我尝试使用 TPL 数据流来枚举给定父目录的所有子目录，并创建具有特定文件扩展名的文件列表，例如“.xlsx”。我使用 2 个 block ，第一个 dirToFilesBlo
问题:为什么使用 WriteOnceBlock (或 BufferBlock )用于从另一个 BufferBlock 取回答案(类似回调) (取回答案发生在发布的 Action 中)导致死锁(在此代码
此代码永远不会到达最后一行，因为完成不会从 saveBlock 传播到 sendBlock。我做错了什么？ var readGenerateBlock = new TransformBlock(n =
好吧，我知道我的问题需要更多的指导，而不是技术细节，但我希望 SO 成员不会介意 TPL 数据流的新手提出一些非常基础的问题。 我有一个简单的 Windows 窗体应用程序，它负责从我系统上的 Exc
我是一名优秀的程序员,十分优秀！