gpt4 book ai didi

twitter - 使用 RavenDB 批量插入数据

转载 作者:行者123 更新时间:2023-12-04 19:15:42 24 4
gpt4 key购买 nike

我正在尝试将大量数据(每秒大约 20-25 条推文的 Twitter 流)导入 RavenDB 以进行测试和大规模数据测试。我有一些代码可以很好地写入数据,但是过了一会儿我收到一个错误:

Error while trying to add lots of data to RavenDB

我不会填写所有代码,但这里是它的要点:

Open RavenDB Session
Start reading data from Twitter Stream
For each line, parse JSON into known C# object
add item to RavenDB
increment counter
if counter % 25 = 0, save changes to RavenDB.

我没有尝试过它所建议的,因为它说要查看不同的方法来做到这一点。我应该每插入 200 次左右就终止 session 吗?有没有办法用 Raven DB 插入对象数组?我这样做是完全错误的吗?

最佳答案

两种选择:

  • 在达到限制之前创建新 session (每个 session 25 个请求是一个不错的值)
  • 将 DocumentSession.Advanced.MaxNumberOfRequests 增加到适当的值

  • 两种方法都行,虽然第二种方法稍快一些。

    编辑:根据下面的 Orens 评论,它实际上是第一种更快的方法。

    关于twitter - 使用 RavenDB 批量插入数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/9998320/

    24 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com