Kafka生成消息时的3种分区策略

转载 作者：知者 更新时间：2024-03-13 01:46:53 26 4

@Override
    public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
        List<PartitionInfo> partitions = cluster.partitionsForTopic(topic);
        int numPartitions = partitions.size();
        int nextValue = nextValue(topic);
        List<PartitionInfo> availablePartitions = cluster.availablePartitionsForTopic(topic);
        if (!availablePartitions.isEmpty()) {
            int part = Utils.toPositive(nextValue) % availablePartitions.size();
            return availablePartitions.get(part).partition();
        } else {
            // no partitions are available, give a non-available partition
            return Utils.toPositive(nextValue) % numPartitions;
        }
    }

26 4 0

• Neo4j 分区

  是一种在 Neo4j 分区之间进行物理分离的方法吗？ 这意味着以下查询将转到 node1: Match (a:User:Facebook) 虽然此查询将转到另一个节点(可能托管在 docker 上)

• 非企业服务器上的 SQL 分区？

  我尝试在我的 SQL 服务器上使用分区函数对我的一个大表进行分区，但我收到一条错误消息 “只能在SQL Server企业版中创建分区功能。只有SQL Server企业版支持分区。” 所以我想知道没有企

• hadoop - hadoop中的文件拆分/分区

  在hadoop文件系统中，我有两个文件，分别是X和Y。通常，hadoop制作的文件X和Y的大小为64 MB。是否可以强制hadoop划分两个文件，以便从X的32 MB和Y的32 MB中创建一个64 M

• 组合键的 Cassandra 分区

  据我了解，如果我们有一个主键，则使用该键对数据进行分区并将其存储在节点中(例如使用随机分区器)。 现在我不确定的是，如果我有多个键(又名复合键)，是用于分区数据的键的组合还是它将是第一个主键？ 例如，

• SSAS 分区，多少太多了

  我正在向我的 SSAS 多维数据集添加分区，我想知道是否有多个分区可以保留在下面？多少太多了，最佳实践限制是 20 还是 200？有没有人可以分享任何真实世界的知识？ 最佳答案 这是 another

• MySQL 分区 - 主键和唯一记录的错误

  我有一个包含大约 200 万条记录的大表，我想对其进行分区。 我将 id 列设置为 PRIMARY AUTO_INCRMENT int (并且它必须始终是唯一的)。我有一列“theyear”int(4

• Mysql 分区 - 如何对包含唯一列的表进行列表分区？

  我正在做 mysql 列表分区。我的表数据如下 ---------------------------------------- id | unique_token | city | student_

• 具有大量插入和删除的表的 MySQL 分区

  我有一个表，我们每天在其中插入大约 2000 万个条目(没有任何限制的盲插入)。我们有两个外键，其中一个是对包含大约 1000 万个条目的表的引用 ID。 我打算删除此表中超过一个月的所有数据，因为不

• 真实示例中的 MySQL 分区

  我想在一款足球奇幻游戏中尝试使用 MySQL Partitioning，该游戏的用户分布在联赛中，每个联赛都有一个用户可以买卖球员的市场。当很多用户同时玩时，我在这张表中遇到了一些僵局(在撰写本文时大

• 带有变量的 jQuery 分区

  我是 jQuery 的新手，想知道是否可以获取一些变量并将它们的除法作为 CSS 宽度。到目前为止我在这里: var x = $(".some-container").length; var y =

• c++ - 分区、斯特林数和第一个切比雪夫多项式的递归函数

  所以我正在做家庭作业，我需要为分区、斯特林数(第一类和第二类)和第一类的切比雪夫多项式创建递归函数。我的程序应该能够让用户输入一个正整数 n，然后创建名为 Partitions.txt、Stirlin

• python - 分区(如果适用)

  我在数据框中有一列，其中包含大约 1,4M 行聊天对话，其中每个单元格中的一般格式为 (1): “名称代理 : 对话” 但是，并非列中的所有单元格都采用这种格式。有些单元格只是 (2): “对话” 我

• html - "Collapsible"<分区>

  我在尝试隐藏 a 时遇到了一些问题，直到用户单击某个元素为止。 HTML 看起来像: BRAND item 1 item 2 item 3

• 【kafka】-分区-消费端负载均衡

  一.为什么kafka要做分区？ 因为当一台机器有可能扛不住（类比：就像redis集群中的redis-cluster一样，一个master抗不住写，那么就多个master去抗写）

• postgresql - 分区(和拆分)值以填充槽

  我有一些销售数据，我需要发送存储在单独表中的可用槽中的数量。 销售数据示例: id数量112131415369 create table sales (id serial primary key, q

• GlusterFS - 为什么不推荐使用 root 分区？

  我计划设置多个节点以使用 glusterfs 创建分布式复制卷 我使用主(也是唯一)分区上的目录在两个节点上创建了一个 gluster 复制卷。 gluster volume create vol_d

• sql - 在窗口函数内过滤(通过...分区)？

  我正在尝试使用 sum() over (partition by) 但在总和中过滤。我的用例是将每个产品的 12 个月累计到一个月的条目，因此: ITEM MONTH SALES Item

• scala - 如何从单个枚举器中生成多个枚举器(分区、拆分、..)

  是否可以创建多个 Enumerators出单Enumerator ? 我正在寻找的相当于 List.partition返回 (List[A], List[A]) ，比如 List().partitio

• Yocto - 创建并填充一个单独的/home 分区

  我正在创建一个基于 x86 的非常简单的 Yocto 图像。 我希望/文件系统是只读的，所以我设置了 IMAGE_FEATURES_append = " read-only-rootfs " 在原件的

• list - Scala 分区/收集用法

  是否可以使用一次 collect 调用来创建 2 个新列表？如果没有，我该如何使用分区来做到这一点？ 最佳答案 collect(在TraversableLike上定义并在所有子类中可用)与集合和Par