个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
30
4
我想在我的 Flink 工作中限制 Kafka 消费者。
查看 Flink 1.12 的源代码，我发现 FlinkConnectorRateLimiter和 GuavaFlinkConnectorRateLimiter .但是我找不到任何将这个速率限制器连接到 FlinkKafkaConsumer 的东西.
如何在 Flink 1.12 中实现 Kafka 的速率限制？
最佳答案
FlinkConnectorRateLimiter可用于旧版 Kafka 消费者 (flink-connector-kafka-0.10)，后者在 Flink 1.12 中被删除。当前的 kafka 消费者不提供速率限制。
请参阅此邮件列表线程 -- http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Kafka-Rate-Limit-in-FlinkConsumer-td36417.html - 一些讨论。简而言之，一旦对背压和事件时间偏差下的检查点进行的改进完成后，速率限制应该不再具有任何吸引力，因此实际上没有任何兴趣增加对速率限制的支持。
但是，上面的邮件列表线程确实包含一个示例，展示了如何通过扩展 FlinkKafkaConsumer 自己为 Kafka 实现速率限制。覆盖 emitRecord和 emitRecordWithTimestamp .
关于apache-flink - 如何在 flink 上使用 Ratelimiter？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/65227642/
30
4
0
本文主要研究的是ratelimit-使用guava来做接口限流的相关内容，具体如下。 1、问题描述 某天a君突然发现自己的接口请求量突然涨到之前的10倍，没多久该接口几乎不可使用，并引发
俗话说得好，缓存，限流和降级是系统的三把利剑。刚好项目中每天早上导出数据时因调订单接口频率过高，订单系统担心会对用户侧的使用造成影响，让我们对调用限速一下，所以就正好用上了。 常用的限
我有一个 RabbitMQ 队列，里面装满了数千条消息。我需要我的消费者每秒消费 1 条消息，因此我使用 Polly 实现了 RateLimit 策略。我的配置如下: public static IA
我一直在研究 throttle 系统，并偶然发现了 Guava RateLimiter。据我所知，它处理限制的两种主要方式是对溢出的请求进行排队(.acquire(...) 方法)或丢弃它们(tryA
我对 Resilience4j RateLimiter 有疑问 public static void main(final String[] args) throws InterruptedExcep
我正在尝试使用 RateLimiter以每秒特定限制丢弃数据包。 final RateLimiter rateLimiter = RateLimiter.create(5000.0); // rate
鉴于我正在使用 Guava 速率限制器和预热，我正在尝试找出一种方法来计算在特定时间会发生多少 QPS。我看了评论here ，但我仍然不清楚。希望这里有人可以为我澄清。 我的用例: 我调用了一个具有
我有将调用限制为 100/s 的情况。 我正在考虑使用 Google Guava RateLimiter。我是这样测试的:- int cps = 100; RateLimiter limite
我在 Heroku 上使用 Django-ratelimit 时遇到问题，限制器不起作用。我没有收到任何错误。有什么建议我做错了什么吗？ View .py from django.core.cache
本文整理了Java中com.eudemon.ratelimiter.utils.YamlUtils类的一些代码示例，展示了YamlUtils类的具体用法。这些代码示例主要来源于Github/Stack
本文整理了Java中com.eudemon.ratelimiter.env.ZookeeperConfig类的一些代码示例，展示了ZookeeperConfig类的具体用法。这些代码示例主要来源于Gi
假设我有一个 HTTP 客户端来调用具有请求速率限制的服务器，例如1000 个请求/秒。我在 ExecutionContext 中实现了速率限制器像这样: 使用 RateLimiter 创建了一个有界
有多种方法可以对 DynamoDB 中的扫描操作进行速率限制，例如:https://java.awsblog.com/post/Tx3VAYQIZ3Q0ZVW/Rate-Limited-Scans-i
我正在使用http://mailinator.com/在我的所有电子邮件相关测试的自动化脚本中。它对我来说效果很好，但在执行一定量的脚本后，它不起作用，并将用户路由到名为“ratelimit.jsp”
我正在使用一些 HTTP 库将一些数据上传到一些网络服务，并且需要限制每秒上传的数据量。使用的限制器是Guava RateLimiter ，几乎遵循限制某些数据流的第二个示例。对我来说有两个区别:我正
我在我的项目上设置了 django-ratelimit，它似乎工作正常，除了当访问者达到他们的限制时我无法删除丑陋的 403 错误页面。我正在尝试按照他们在文档中所说的那样替换它，内容如下: Ther
我正在尝试限制每秒对方法的调用次数。我尝试使用 Guava RateLimiter 来实现这一点。 RateLimiter rateLimiter = RateLimiter.create(1.0);
本文整理了Java中com.eudemon.ratelimiter.rule.parser.YamlRuleConfigParser类的一些代码示例，展示了YamlRuleConfigParser类的
我想在我的 Flink 工作中限制 Kafka 消费者。 查看 Flink 1.12 的源代码，我发现 FlinkConnectorRateLimiter和 GuavaFlinkConnectorRa
我正在为我的网站使用 Let's Encrypt，我的 cron 作业中出现错误，导致我尝试手动更新时出错( $ sudo letsencrypt renew ): Error: urn:acme:e
我是一名优秀的程序员,十分优秀！