C#、SQL Server 2008 : Stream large result set to end user only works on some databases

Question

我有一个长时间运行的查询，它返回一个大数据集。此查询是从 Web 服务调用的，结果将转换为最终用户的 CSV 文件。以前的版本需要 10 多分钟才能运行，并且只有在查询完成后才会将结果返回给最终用户。

在大多数情况下，我将查询重写到它在一分钟左右运行的位置，并重写了它的访问方式，以便在结果从数据库服务器进入 asp.net Web 服务时将结果流式传输到客户端.我使用 SQL Server 的本地实例和远程实例对此进行了测试，没有问题。

现在，在生产部署的风口浪尖上，我们的生产 SQL 服务器机器似乎在查询完成执行之前不会将任何结果发送回 Web 服务。此外，我发现另一台机器，与工作的远程服务器(克隆)相同，也没有流式传输结果。

SQL Server 2008 的版本在所有机器上都是相同的。生产机器安装的 Windows Server 版本略有不同(6.0 与 6.1)。生产服务器有 4 个内核，RAM 是其他服务器的几倍。其他服务器是具有 1GB 内存的单核。

是否有任何设置会导致这种情况？或者是否有任何设置可以防止 SQL Server 缓冲结果？

虽然我知道这根本不会真正影响整体运行时间，但它会极大地改变最终用户的看法。

tl；博士；我需要查询的结果在查询运行时流式传输给最终用户。它适用于某些数据库机器，但不适用于其他机器。所有机器都运行相同版本的 SQL Server。

我在 C# 中所做的要点:

var reader = cmd.ExecuteReader();
Response.Write(getHeader());
while(reader.Read())
{
  Response.Write(getCSVForRow(reader));
  if(shouldFlush()) Response.Flush()
}

根据以下回复进行澄清

有4台数据库服务器，Local, Prod, QA1, QA2。他们都在运行 SQL Server 2008。他们都加载了相同的数据库(或多或少，非产品延迟 1 天)。

Web 服务托管在我的机器上(尽管我也测试过远程托管)。

测试之间的唯一变化是 web.config 中的连接字符串。

QA2 正在运行(流式传输)，它是 QA1(虚拟机)的克隆。 QA1 和 QA2 之间的唯一区别是在 QA2 上添加了一个与此查询完全无关的数据库。

QA1 不工作。

所有测试都在结果中包含最大大小的数据集(我们目前限制为 5k 行)。一旦第一次刷新发生，浏览器就会显示一个下载对话框。这是期望的结果。我们希望他们知道他们的下载正在处理中，即使下载速度很低，有时会降至零(这就是数据库的方式)。

此时我的刷新代码很简单。我们刷新每 k 行，k 当前设置为 20。

其中最令人困惑的部分是 QA1 和 QA2 的行为不同。我确实注意到我们的生产服务器设置为兼容模式 2005 (90)，其中 QA 和本地数据库都设置为 2008 (100)。我怀疑这很重要。当我通过 SSMS 执行存储过程时，我在所有机器上都有类似的行为。我立即看到结果流。

是否有任何连接字符串设置可以禁用流式传输？

Answer 1

我所知道的一切都表明你所做的应该有效； DataReader 和 Response.Write()/.Flush() 都以“流式”方式运行，一旦有要获取的行，就会导致客户端一次获取一行数据。响应确实包含一个缓冲区，但您在每次读/写迭代后将缓冲区推送到客户端，这最大限度地减少了它的使用。

我会检查 Web 服务是否配置为正确响应响应中的 Flush() 命令。确保生产环境不是Win2008 Server Core安装； Windows Server 2008 在某些服务器核心角色中不支持 Response.Flush()。我还会检查在 ShouldFlush() 中评估的条件是否会在您期望它们在生产环境中返回 true(您可能正在检查应用程序配置的值，或查看 IIS 设置；我不知道)。

在您的测试中，我会尝试更大的样本数据集；可能是生产环境暴露了测试环境中也存在的问题，但是使用较小的测试数据集和高速以太网 Backbone ，与返回数十万行相比，问题并不明显数字用户线。您可以通过在每个 Flush(250) 之后插入 Thread.Sleep() 调用来验证它是否以流方式工作；这会减慢服务的执行速度，并让您看到响应以每秒 4 行的速度提供给您的客户端。

最后，确保您在生产环境中使用的客户端设置为以允许流式传输的方式显示 CSV 文件。这基本上意味着充当客户端的网络浏览器不应配置为将文件传递给第三方应用程序。 Web 浏览器可以很容易地显示通过 HTTP 传递的文本流；这就是它的作用，真的。但是，如果它将流视为 CSV 文件，并且配置为将 CSV 文件交给 Excel 打开，则浏览器将在调用第三方应用程序之前缓存整个文件。