个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
28
4
这个问题说明了一切。我怎样才能做以下事情之一:
我有一个 NIFI 集群和一个自行编写的专用处理器，它通过 JDBC 将大量数据加载到数据库中(每秒高达 20Mio 行)。它使用一些特定于数据库供应商的调优技巧，在我的特定情况下非常快。其中一个技巧需要为每个连接加载一个独占的空表。
目前，我的处理器为 NIFI 集群中的每个节点打开一个连接(它需要一个来自 DBCPConnectionPool 的连接)。集群中有大约 90-100 个节点，我将获得 90-100 个连接 - 所有这些连接都同时批量加载数据。
我正在使用 NIFI 1.3.0.0
非常感谢任何帮助或评论。很抱歉没有显示任何代码。大约 700 行并没有真正帮助解决这个问题。但我计划将其放在 Git 上，并作为开源项目 Kylo 的一部分。
最佳答案
在 NiFi 中分解任务的一种常见方法是在主节点上将流文件拆分为多个文件。然后其他节点将拉取其中一个流文件并对其进行处理。
在您的情况下，每个文件都将包含一系列要从表中提取的值。假设您有一百行并且只需要 3 个节点来提取数据。因此，您将创建 3 个流文件，每个文件都具有单独的属性值:
然后节点将从远程进程组或队列(例如 JMS 或 SQS)中获取流文件。只有 3 个流文件，因此从连接加载数据的节点不超过 3 个。
关于java - NIFI : limit number of concurrent tasks of a NIFI processor in a NIFI-Cluster，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/45842643/
28
4
0
好吧，我对我的页面发生的事情有点困惑。我在底部有页码， table 上摆满了 23 种不同的元素。 每个页面应一次显示 5 个项目。我显示的页面发送了一个带有 pagenumber = 不管怎样的 g
几周前我开始学习 Ada。我知道 limited 在某些情况下声明了一个有限类型，不允许复制对象 来自 Ada Reference Manual 2012 7.5 1/2 A limited type
我想按 DESC 选择日期并限制为最后 3 个，然后我需要基本上翻转最后 3 个结果，以便它们按 ASC 排序 任何帮助将不胜感激，我正在使用 postgresql 最佳答案 SELECT * FRO
SELECT * FROM mm_tfs WHERE product_slug LIKE '%football%' AND schoolid = '8' AND category_id ='2
SELECT * FROM mm_tfs WHERE product_slug LIKE '%football%' AND schoolid = '8' AND category_id ='2
我正在尝试访问按“日期”键排序的表中恒定数量的最新文档。请注意，不幸的是，日期是被实现的(不是由我......)，使得该值设置为字符串，例如“2014-01-14”，或者有时“2014-01-14 2
我目前正在使用具有限制 cpu、限制内存以及保留 cpu 和内存的 Docker Swarm。 完成测试后，我想删除这些配置。我找不到任何有关如何删除这些的文章。 是否有办法通过更新来删除这些设置而不
我目前正在使用具有限制 cpu、限制内存以及保留 cpu 和内存的 Docker Swarm。 完成测试后，我想删除这些配置。我找不到任何有关如何删除这些的文章。 是否有办法通过更新来删除这些设置而不
我必须对我的数据应用分页。我通过复杂的连接查询获取数据，没有任何子查询，只有简单的连接。 假设这个查询[这是一个非常简单的查询，我有一个比这个复杂的查询] SELECT states.state
我经常制作条形图，并将条形图的值额外包含为注释 (geom_text)。通常，我更喜欢这些值右对齐(与将标签放在条形顶部相反)。在绘制多面条形图时，我将这些值放在每个组中的最大值(我之前计算过)加上我
delivery-limit 和 x-delivery-limit 有什么区别？ 当我将 x-delivery-limit 设置为 RabbitMQ 队列参数时，我可以看到它限制了我的消息重新排队尝试
delivery-limit 和 x-delivery-limit 有什么区别？ 当我将 x-delivery-limit 设置为 RabbitMQ 队列参数时，我可以看到它限制了我的消息重新排队尝试
我正在使用 PostgreSQL 9.3。这应该在具有 100,000 多行的任何表上重现。 EXPLAIN ANALYZE 显示使用 LIMIT 2 扫描了更多行，但我不明白为什么。 限制 1: E
我正在尝试找出是否可以在 PHP 中全局设置和取消设置 MySQL 结果的默认限制。 一些可能看起来像的伪代码: $pdo->prepare('SELECT * FROM example'); $pd
我有下面的代码片段表 在这里我必须对投票前 3 个值求和。 假设 product_id 3030 vote 列的总和为 8.1 和 3671 总和 是 5.2 在这里，我必须获得前 3 个 produ
我正在使用全文搜索来提取行。 我根据分数 (ORDER BY SCORE) 对行进行排序，然后在前 20 行 (LIMIT 20) 中，我想对结果集进行兰德 (RAND)。 因此，对于任何特定的搜索词
帮助创建搜索条件 SELECT * FROM mlt_adr_city WHERE name LIKE "Text%" AND region_id = 59 AND id <> 0 IF (name
MySQL 查询示例: SELECT message_id, message_text FROM messages LIMIT 0 , 30 我得到的这个提示是错误的: HIN
我注意到如果我将查询限制为 1 个而不是 5 个，速度会急剧下降。 SELECT he. * FROM homematic_events he WHERE he.homematic_devices_i
我需要从我的表中获取最后一个 ID，以便我可以在另一个函数中使用它我在我的存储库中创建了这个函数，但我没有工作，它显示了一个错误: [Syntax Error] line 0, col 60: Err
我是一名优秀的程序员,十分优秀！