gpt4 book ai didi

c# - 从数据库中处理 100 万条记录的技术是什么

转载 作者:太空宇宙 更新时间:2023-11-03 18:45:09 25 4
gpt4 key购买 nike

这或多或少是一个设计问题。我们必须处理 100 万行并将 xml 发送给第三方。最初我们必须发送大约 100 万条记录,之后我们将只发送增量。

目前,存储过程大约需要 15 到 20 分钟才能返回数据。它是一个控制台应用程序。我知道一次获取 100 万条记录不是一个好方法。

我想了解以下内容1) 连接到数据库的 c# 中的控制台应用程序是否是正确的方法2) 还有其他方法吗?

感谢您对此的指导,不需要任何编码,我们需要一些关于如何进行的建议。提前致谢。

最佳答案

我的想法:

  • 不要获取所有数据,然后处理它;但在它到达时对其进行处理 - 通过IDataReader 或 LINQ
  • 对文件使用同样的流式处理方法;可能是 XmlWriter 直接,或者可能是 XStreamingElement - 在任何一种情况下都从上面的源代码中读取

这大大减少了您需要的内存量,并允许您的机器在等待网络 IO 时做一些有用的事情

关于c# - 从数据库中处理 100 万条记录的技术是什么,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5088078/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com