- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
我必须对存储在 SQL Server 中(出于充分理由)的数据实现算法。该算法不太适合 SQL,因此我想将其实现为 CLR 函数或过程。这是我想要做的:
执行多个查询(通常是 20-50,但最多 100-200),所有查询的形式都是 select a,b,... from some_table order by xyz
。有一个适合该查询的索引,因此结果应该或多或少无需任何计算即可获得。
逐步使用结果。确切的步进取决于结果,因此不能完全预测。
通过遍历结果来聚合一些结果。我只会消耗结果的第一部分,但无法预测我需要多少。停止标准取决于算法内部的某个阈值。
我的想法是打开几个 SqlDataReader,但我有两个问题:
每个连接只能有一个 SqlDataReader,并且在 CLR 方法中我只有一个连接 - 据我所知。
我不知道如何告诉 SqlDataReader 如何分块读取数据。我找不到 SqlDataReader 应该如何运行的文档。据我了解,它正在准备整个结果集并将整个结果加载到内存中。即使我只会消耗其中的一小部分。
关于如何将其作为 CLR 方法解决的任何提示?或者是否有更适合我的问题的更底层的 SQL Server 接口(interface)?
更新:我应该更明确地说明两点:
我说的是大数据集,因此一个查询可能会产生 1 mio 记录,但我的算法只会消耗前 100-200 个记录。但正如我之前所说:我事先并不知道确切的数字。
我知道 SQL 可能不是那种算法的最佳选择。但由于其他限制,它必须是 SQL 服务器。所以我正在寻找可能的最佳解决方案。
最佳答案
SqlDataReader
没有读取整个数据集,您将它与 Dataset
混淆了类(class)。它逐行读取,因为正在调用 .Read()
方法。如果客户端不使用结果集,服务器将暂停查询执行,因为它没有空间将输出写入(选定的行)。随着客户端消耗更多行(正在调用 SqlDataReader.Read),执行将恢复。甚至还有一个特殊的命令行为标志 SequentialAccess
指示 ADO.Net 不要将整行预加载到内存中,这对于以流方式访问大型 BLOB 列很有用(有关实际示例,请参见 Download and Upload images from SQL Server via ASP.Net MVC)。
当 MARS 时,您可以在单个连接上激活多个事件结果集 (SqlDataReader)活跃。但是,MARS 与 SQLCLR 上下文连接不兼容。
所以你可以创建一个 CLR streaming TVF在 CLR 中做一些你需要做的事情,但前提是你只有一个 SQL 查询源。多个查询将要求您放弃上下文连接并使用 isstead 一个完全成熟的连接,即。在环回中连接回同一实例,这将允许 MARS 并因此消耗多个结果集。但是环回有其自身的问题,因为它打破了上下文连接的事务边界。特别是对于环回连接,您的 TVF 将无法读取调用 TVF 的同一事务所做的更改,因为它是 不同 连接上的不同事务。
关于c# - "cursor like"读取 CLR 过程/函数内部,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7153183/
这是我的测试用例。 http://tobeythorn.com/isi/dummy2.svg http://tobeythorn.com/isi/isitest.html 如果我自己打开 svg,内部
这是我的测试用例。 http://tobeythorn.com/isi/dummy2.svg http://tobeythorn.com/isi/isitest.html 如果我自己打开 svg,内部
我正在尝试做类似的事情: SELECT SUM( CASE WHEN ( AND EXISTS(SELECT 1
我想问如何在外部 ng-repeat 内部正确使用内部 ng-repeat: 这意味着你想使用这样的东西: {{milestone.id}} {{
我希望在 wordpress 的仪表板内编辑 css 样式并且如果可能的话不必编辑 php 文件。 我知道至少可以编辑一些属性,所以我希望我可以直接在仪表板中编辑所有属性。 更具体地说如何更改自定义类
我在安装在 windows10 上的 vmware 中的 Ubuntu 上安装了伪分布式独立 hadoop 版本。 我从网上下载了一个文件,复制到ubuntu本地目录/lab/data 我在 ubun
我有一个如下所示的 WHERE 语句: WHERE ((@Value1 IS NULL AND [value1_id] IS NULL) OR [value1_id] = ISNULL(@Va
我有一个如下所示的 WHERE 语句: WHERE ((@Value1 IS NULL AND [value1_id] IS NULL) OR [value1_id] = ISNULL(@Va
在我的一些测试帮助程序代码中,我有一个名为 FakeDbSet(Of T) 的 IDbSet(Of T) 实现,它模拟了许多 EF 行为,但没有实际的数据库。我将类声明为 Friend ,因为我想强制
我正在寻找 Cassandra/CQL 的常见 SQL 习语 INSERT INTO ... SELECT ... FROM ... 的表亲。并且一直无法找到任何以编程方式或在 CQL 中执行此类操作
如何防止内部 while 循环无限运行?问题是,如果没有外部 while 循环,内部循环将毫无问题地运行。我知道它必须对外循环执行某些操作,但我无法弄清楚是什么导致了问题。 import java.u
我正在努力学习更多有关 C++ 的知识,但在国际象棋程序中遇到了一些代码,需要帮助才能理解。我有一个 union ,例如: union b_union { Bitboard b; st
这是我项目网页中的代码片段。这里我想显示用户选择的类别,然后想显示属于该类别的主题。在那里,用户可以拥有多个类别,这没有问题。我可以在第一个 while 循环中打印所有这些类别。问题是当我尝试打印主题
我想知道如何在 swing 中显示内部框架。这意味着,当需要 JFrame 时,通常我所做的是, new MyJFrame().setVisible(true); 假设之前的表单也应该显示。当显示这个
我最近发现了一些有趣的行为,这让我想知道对象如何知道存在哪些全局变量。例如,假设我有一个文件“test.py”: globalVar = 1 toDelete = 2 class Test(objec
我知道它已经在这里得到回答: google maps drag and drop objects into google maps from outside the Map ,但这并不完全是我所需要的
我目前正在学习Javascript DOM和innerHTML,发现在理解innerHTML方面存在一些问题。 这是我的代码:http://jsfiddle.net/hphchan/bfjx1w70/
我构建了一个布局如下的库: lib/ private_class_impl.cc private_class_decl.h public_class_impl.cc include/
我有一个使用 bootstrap 3 的组合 wordpress 网站。它基本上是一个图像网格。当屏幕展开时,它会从三列变为四列。移动时它是一列。 我想出了如何调整图像的顶部和底部边距,但我希望图像的
我正在试用 MSP-EXP430G2 的教程程序,使用 Code Composer Studio 使 LED 闪烁。最初,它有一个闪烁的无限循环: for(;;) // This emp
我是一名优秀的程序员,十分优秀!