amazon-web-services - 查询/过滤运动流中的事件

Question

我正在为我的 event-sourcing 开发 Kinesis-streams架构，使用失败后 kafka因为它荒谬的基础设施需求。

无论如何，我有 Kinesis 生产者，消费者工作正常(尽管延迟很高)。我一直在做我的 component-testing使用流来验证事件是否已写入流。

但我正在寻找的是 Stream 仪表板，非技术人员也可以使用它。

因为在生产中，像经理/(甚至是懒惰的调试人员)这样的人显然不想编写代码来查看流中的事件，相反在仪表板中查看会有所帮助。

我没有看到 Kinesis-streams 具有查询功能。

作为这个能力的解决方案，

• 我可以在事件写入 kinesis 后立即使用它，并将其应用于另一个支持查询/过滤功能的数据存储(例如 MongoDB、DynamoDB)，这需要我花时间在紧迫的时间表内实现。

• 或者，将运动事件流式传输到 kinesis-analytics也可以解决我的问题，尽管 Analytics 并非为此目的而设计。而且它 super 慢，最多需要 15/20 秒才能出现在仪表板中，它也不显示新事件。

我尝试导入源运动流 ComponentTest_Producer_Stream_2_6_117，它具有 {"eventType": "KinesisEvent", "someField": "some value", "createdTime"格式的 JSON 事件: “一些数据”，到 kinesis-analytics。

它以某种方式自动检测到事件并填充到仪表板中，(经过多次尝试)

• 我也不确定 Cloudwatch 是否可以解决这个问题，我的问题完全没有意义？这个 Amazon WS 世界的工具太多了，我对它还很陌生。

我的问题是

1) Kinesis-stream 使用什么数据存储来存储事件？

2) 建议在运动流中查询/过滤事件的策略。

Answer 1

我认为您要解决的主要问题是如何构建您的队友可以用来快速窥探系统的仪表板。我可以建议两个选项:

• 运行一个单独的消费者应用程序来处理数据并将其推送到 DynamoDB 等数据存储区。您可以构建一个显示此信息的轻量级 UI。可以找到一种相关示例 here .
• 将 Kinesis 数据加载到 Elasticsearch 集群(相关文档 here )并使用 Kibana用于可视化。 Kibana 是开源的，非常强大，允许在 UI 上轻松自定义聚合。