- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
根据我在使用 NiFi 构建一些数据库摄取 PoC 后的理解,整个数据流作为流文件流运行。并且在任何特定时间,执行控制可以同时在一个或多个处理器上。
所以我真的很困惑如何针对任何故障调试复杂的数据流。
当我们处理生产用例时,它会变得比这复杂得多。所以我没有什么问题。
如何知道数据流的状态。如果假设 10 个 fork 流文件中有 4 个在 GenerateTableFetch
中因数据库池错误而失败,我如何知道哪些文件失败以及如何快速重放它们而无需逐个查看数据来源并逐一执行。
有没有一种方法可以仅通过查看数据流来了解哪个流文件在哪个处理器上出现故障。
我对使用 NiFi 调试数据流有很多疑问/困惑,如果有人可以指点我一些文档或分享最佳实践,那会很有帮助。
谢谢。
最佳答案
1- How to know the status of the dataflow. If let's say 4 out 10 forked flow files failed at GenerateTableFetch for database pool error, how do I know which ones failed and how to quickly replay them without going to data governance and doing one by one.
这可以通过将失败类型或任何其他类型的关系发送到进程组来处理错误来管理,具体取决于您使用的处理器类型。
所以就像 Bryan 提到的那样,除非您不在乎,否则您不希望它们自动终止。
2- Is there a way to know just by looking at the dataflow that which flowfiles at which processor are failing.
是的——你必须设置“公告级别”来区分日志级别
如何管理失败的 NiFi 流程?
好吧,您需要与公告板成为最好的 friend ,请参阅此处 SiteToSiteStatusReportingTask 或者您可以使用 InvokeHttp 对 native NiFI Rest Api 进行 GET 调用 http://nifi-server:port/nifi-api/flow/bulletin-board 并且这将响应一个详细的 json 对象,该对象可以被解析,然后推送到 PutSlack/PutEmail/PutSNS 以解决任何错误。
拥有Shared Process Group 来处理任何传入的错误流文件也是理想的选择,此 PG 将使用规则和路由构建,以应用于 NiFi 服务器中的所有数据流逻辑。拥有 PG 特定属性至关重要,这些属性将随您的所有流一起携带,并将在数据流的整个过程中使用。
例如:
进程组“Demo”有一个名为Set PG Attributes的处理器,它设置了PGName属性,PGType属性,FailEmailTitle 属性等。如果我的流程在任何时候失败,失败关系将根据 Set PG Attributes 处理器
中设置的属性之一的值来路由我失败的流程这是我当前设置的图表,其中我将所有故障发送到同一个共享 PG。
其他选项
如果您认为公告仅持续 5 分钟是个问题,那么您可以使用 nifi-app.log,它可以设置为由 /中的规则填充选择/nifi/conf/logback.xml 文件
<logger name="org.apache.nifi" level="ERROR"/>
<logger name="org.apache.nifi.processors" level="DEBUG"/>
<logger name="org.apache.nifi.processors.standard.LogAttribute" level="ERROR"/>
<logger name="org.apache.nifi.processors.standard.LogMessage" level="ERROR"/>
<logger name="org.apache.nifi.controller.repository.StandardProcessSession" level="ERROR" />
因此,您可以让 tailFile 处理器查看您的本地日志文件并获取错误信息或您认为对您有用的信息。
关于apache-nifi - 调试复杂 NiFi 数据流的理想方式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52302821/
昨晚我因为这个问题脑子崩溃了。在确保没有来 self 的 eclipse 错误检查的明显错误之后,我开始调试我的程序。顺便说一下,我正在使用 Jre7。无论如何,每次我进入我的类调用(我们称之为“a”
(前言:我对 C/C++ 还很陌生,我真的不知道 native 代码中的调试实际上是如何工作的。) 一些消息来源说 gdb 和 lldb 可以调试 any program compiled to ma
我正在尝试从 Visual Studio 2012 外部调试 T4Scaffolding.Core Nuget 包。我使用的是安装了 Powershell 3.0 的 Powershell ISE,并
如何调试汇编代码?我在 Linux 上使用 gdb。我知道我可以看寄存器。有哪些调试汇编代码的方法? 最佳答案 您当然可以使用 breakpoints就像 C 或任何其他编译语言一样。 This ar
如何在每次通话时打印列表或 haskell 中的内容,例如: funct a list = funct (a + 1) (a : list) print list her
让我用我对 Makefiles 或 make 知之甚少的评论作为这个问题的前缀。 有一个非常大的项目,每晚自动构建。它以 Debug 和 Release 模式构建,Debug 用于 Valgrind
我正在创建一个计算每周工资的程序,那么任何加类工资都是该周正常工资的 1.5 倍。我的代码如下: #include int main() { double payrate; double h
我使用的是 Visual Studio 2010 Express Developer 版本。开发网站。我在我的 .aspx 页面中使用 JavaScript。 如何在 Javascript 中放置断点
我最近开始修补 Project Euler 问题,并尝试用 Javascript 解决它们。这样做我往往会产生许多无限循环,现在我想知道是否有比终止 Firefox 或 Chrome 中的选项卡更好的
有没有办法在程序执行期间生成一个交互式 python 控制台(最好是 iPython)而不暂停主程序并且能够检查和修改程序变量?类似于浏览器为 JavaScript 提供的功能。 我知道 pdb.se
我正在使用 FFmpeg @ Android 并希望能够进入 FFmpeg 代码(Eclipse + Seqouya),同时编译 FFmpeg 我使用 --disable-stripping --en
我从使用互操作调用 win32 api 函数的 .net 进程中得到一个异常。 我有一个调试器,我想查看 LastError 的值。 是否可以从 Visual Studio 调试器中查看 LastEr
我正在尝试通过 VBA 创建一个宏,以在 IE 的多个选项卡中打开一组指定的链接。目前我正在使用下面的代码,如果我试图打开 3 个或更少的选项卡,它大部分时间都可以工作。任何超过 3 的代码都会在“N
好的,这似乎是一个愚蠢的问题,因为 MonoDevelop 越来越成熟,所以我确定我只是想念它,但我环顾四周,所有关于这个主题的问题似乎都是关于远程调试或 Mac 上的调试。 我使用的是 Ubuntu
如何调试 Rscripts是从命令行运行的? 我目前正在使用 getopt传递命令行选项的包,当有错误时,我很难: 看看到底出了什么问题; 在 R 中交互式调试(因为脚本需要命令行选项。) 有没有人有
支持 PDF 和网络上的信息很少。我碰巧在博客中看到一篇文章,提到 $.write() 或 $.writeln() 将向 javascript 控制台写入一个字符串。相当有用。有谁知道这个 $ 对象是
PyCharm 1.5 中是否可以使用 Firefox 和 Chrome 支持的 JavaScript 调试? 如果是这样,它能否与 Python/Django 调试器一起有效运行? 如果没有,有没有
我确定这以前发生在人们身上,某些东西在 Debug模式下工作,你在发布时编译,但有些东西坏了。 这发生在我在嵌入式 XP 环境中工作时,我发现最好的方法确实是编写一个日志文件来确定它会出错的地方。 您
我目前正在为即将到来的项目评估 Flow3。 AOP 模式和依赖注入(inject)将非常适合我们的目的。 现在我想不通的是如何在 Controller Action 中调试一些结果。 public
最初,我有一个包含测试服务器的 Django 应用程序。要调试此设置,我只需添加 import pdb; pdb.set_trace()代码中的任何位置,并且有一个断点将我扔到终端中的交互式调试器中(
我是一名优秀的程序员,十分优秀!