gpt4 book ai didi

java - 在 Spark 上下文中创建计时器

转载 作者:行者123 更新时间:2023-11-30 07:23:24 25 4
gpt4 key购买 nike

我们有一个从 Kafka 传输数据并消耗客户 Activity 的 Spark 应用程序。我正在尝试确定客户是否已在我们的系统上停止 Activity 3 分钟(即 3 分钟内未收到该客户的另一笔交易)。

我不确定我是否尝试以正确的方式实现此功能,或者在 Spark 中使用此逻辑是否没有意义,但我尝试使用 RecurringTimer 类来执行此操作。有没有人实现过类似的东西,如果有的话,spark 库中使用了什么实用函数?

任何示例、指针等也将不胜感激

最佳答案

看看mapWithState基本上,您将聚合成一个键/值对,其中包含客户的一些标识符和上次收到的交易的时间戳。

执行此聚合后的每个微批处理,您可以检查并查看其中是否有任何用户具有 timestamp < now() - 3min并做一些事情(即将消息推送到另一个kafka队列等)

mapWithState 上的示例可用 here

关于java - 在 Spark 上下文中创建计时器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37165579/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com