java - 有没有办法使用 kinesis 中的样本记录？

Question

我使用 KCL 编写了一个 Amazon Kinesis 消费者，它管理我的记录处理任务。当前正在处理记录而不进行过滤。我正在寻找一种方法来处理示例记录，同时跳过其中一些记录。

例如，如果总共有 100 条记录，我只想处理其中的 1/10(10 条样本记录)。

谢谢!

Answer 1

据我所知，没有办法告诉 Kinesis 仅返回记录的随机子集。因此，记录返回给您后，您可以选择忽略这些记录。

在processRecords方法中，简单地随机忽略9/10记录:

public void processRecords(ProcessRecordsInput processRecordsInput) {
    processRecordsInput.records()
            .forEach(r -> if (generateRandomNumber()%10 == 0) process(r));
}

private int generateRandomNumber() {
    Random random = new Random();
    return random.nextInt(10);
}