mule-component - 从数据库中获取数百万条记录并在 mule esb 的 ERP 中处理的性能问题

Question

我们试图每天从数据库中获取数百万条记录并在 ERP 系统中进行处理，但我们面临性能问题，社区中是否有关于此的解决方案？

在 mule 中处理记录的最佳方式是什么？那么我们应该使用 batch 还是有其他替代方法？如果我们使用批处理或任何其他解决方案，我们如何使用它才不会遇到任何性能问题？

Answer 1

由于我们没有关于您的具体情况的详细信息，这里有一些一般性的想法。在处理大型数据集时，您肯定需要进行性能测试，以确保您的流程设计表现良好。

澄清一下，我在下方提供了显示流式传输的选项，这些选项的性能稍差，但可以让您处理大型数据集。如果您可以处理内存中的数据集并且希望更快地处理，请关闭流。

• 在 mule 之外测试您的数据库查询，以确保它们的性能和表的正确索引。
• 使用流式数据库连接。调整 block 大小以进行性能测试。 ( Using this with batch scope is a good combo )
• 如果使用本地运行时，请执行 performance tuning .
• 使用批处理范围(企业版)