gpt4 book ai didi

c# - 处理队列外的文件,归档并存储在数据库中

转载 作者:太空宇宙 更新时间:2023-11-03 16:39:09 25 4
gpt4 key购买 nike

我们将实现一个从队列中提取文件的解决方案 (IBM - MQ)。这些消息将是 10-20 条不同的 xml 消息,需要对其进行出列、处理和存档(存储)。但是,当我们将消息中包含的数据存储在数据库中时,我们希望保留源文件,因此必须保留从归档过程生成的 FileId 并将其与元数据一起存储。

我想弄清楚什么能为我提供最大的吞吐量?

要求:

  1. 保留文件的存档。
  2. 存储消息中解析的数据(不是 xml blob)。
  3. 保留存档中的源文件 ID。
  4. 实现可扩展且可显着增长的解决方案....目前可能每小时处理 40-50,000 条消息。

所以基本上我目前的瓶颈是我的存档过程和数据处理/数据库加载似乎是串行的(存档必须处理并成功才能开始 xml 解析/加载)......没有知道是否有更好的方法来实现这一点。

我假设我们可以添加其他应用程序服务器,这些服务器将在同一队列上监听,并且可以在需要时并行处理消息。尝试通过让数据库执行尽可能少的处理来消除作为瓶颈的数据库(可以将 xml blob 发送到数据库,但它必须执行 xml 分解)。

最佳答案

  1. 与 DBA 合作调整对数据库的写入。
  2. 测试多次读取,看看您是否获得更好的吞吐量。

我的经验是,您会希望有多个读者,但数量取决于很多因素。测试它,看看什么是赌注。

关于c# - 处理队列外的文件,归档并存储在数据库中,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8176908/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com