performance - Informatica BDE 摄取作业运行 10 多个小时，终止并重新运行后 3 小时内完成

Question

关于我的个人资料-我正在为集群上运行的一些 BDE Informatica 摄取作业提供 L3 支持。我们的目标是帮助应用程序团队满足 SLA。我们支持在 Hadoop 层 (Hive) 之上运行的作业流。

问题陈述 -我们观察到，在某些日子里，BDE Informatica 摄取作业运行得非常缓慢，而在其他日子里，它们会在 3 小时内完成其周期。如果作业花费了太多时间，我们通常会终止并重新运行这对我们有帮助，但这并不能帮助我们解决根本原因。

我们个人资料的局限性-不幸的是，我没有应用程序代码或 Informatica 工具，但我必须联系开发团队并询问相关问题，以便我们缩小根本原因的范围。

后续步骤 -

• 什么样的情况会导致这种延迟？
• 我可以使用哪些工具来检查可能导致延迟的原因？
• 我可能会问开发团队的几个问题是 -
  1. 在运行作业流之前是否正确分析了表格？
  2. 数据量是否有任何重大变化(这不太可能，因为作业在重新运行时运行速度很快)？

我知道这是一个非常宽泛的问题，我正在请求方法方面的帮助，而不是任何解决特定问题的方法，但这只是帮助永久解决此问题或以理性方式解决它的开始。

Answer 1

您需要检查 Informatica 日志以查看它是否每次都卡在同一步骤。

假设不是，您是否每天都在同一时间触发作业...比如午夜，它通常在凌晨 3 点完成...但有时它会运行到上午 10 点，您会在那里结束并重新启动？

如果是这样，我建议您在 3 小时快速运行期间和 10 小时负载期间，在最小负载下设置存储介质事件的基线。需求有区别吗？

这听起来像是争用，但那会引起冲突。当所需资源可用时，进程可能会永远等待而不是恢复。与 DBA 交谈。