amazon-web-services - AWS DynamoDB 中的扫描与并行扫描？

Question

在云存储系统中，AWS 的需求量很大。扫描过程需要更快。那么扫描过程是如何工作的，在哪种情况下哪个(扫描/并行扫描)更好？

扫描如何在 AWS DynamoDB 中工作？

AWS DynamoDB 中的并行扫描如何工作？

AWS DyanmoDB 中的扫描与并行扫描？

何时首选并行扫描？

是否在扫描前应用过滤器表达式？

Answer 1

1. How scan works in AWS DynamoDB?

答案:

i) 扫描操作返回一项或多项。

ii) 默认情况下，扫描操作按顺序进行。

iii) 默认情况下，Scan 在访问表中的数据时使用最终一致性读取。

iv) 如果扫描的项目总数超过 1 MB 的最大数据集大小限制，则扫描停止并将结果作为 LastEvaluatedKey 值返回给用户，以在后续操作中继续扫描。

v) Scan 操作默认执行最终一致性读取，最多可以返回 1 MB(一页)的数据。因此，单个 Scan 请求可以消耗

(1 MB page size / 4 KB item size) / 2 (eventually consistent reads) = 128 read operations.

2. How parallel scan works in AWS DynamoDB?

答案:

i) 为了在大表或二级索引上获得更快的性能，应用程序可以请求并行扫描操作。

ii) 您可以并行运行多个工作线程或进程。每个工作人员将能够与其他工作人员同时扫描表的单独部分。 DynamoDB 的 Scan 函数现在接受两个额外的参数:

TotalSegments 表示将同时访问表的工作人员数量。

分割表示调用者要访问的表段。

iii) 这两个参数一起使用时，将扫描限制在表中的特定项目块。您还可以使用现有的限制参数来控制单个扫描请求返回的数据量。

3. Scan vs Parallel Scan in AWS DyanmoDB?

答案:

i) 一次扫描操作一次只能读取一个分区。因此需要并行扫描以一次在多个分区上更快地读取。

ii) 顺序扫描可能并不总是能够充分利用预配置的读取吞吐量容量。所以那里需要并行扫描。

iii) 并行扫描，将某些类型的查询和扫描的成本降低多达 4 倍。

4. When Parallel Scan will be preferred?

答案:

如果满足以下条件，并行扫描可能是正确的选择:

表大小为 20 GB 或更大。

表的预配置读取吞吐量未得到充分利用。

顺序扫描操作太慢。

5. Is filter expression is applied before scan?

答案:不，在已读取项目后应用 FilterExpression；过滤过程不会消耗任何额外的读取容量单位。

资源链接:

Scan

Parallel Scan

Example - Parallel Scan Using Java

Amazon DynamoDB – Parallel Scans, 4x Cheaper Reads, Other Good News

Avoid Sudden Bursts of Read Activity