sql - 30 + 小时查询的最佳架构

Question

我有一个有趣的问题要解决。我的一个客户让我开发了一个股票分析程序，其中包含近 50 年的近一千个品种的股票数据。我开发了一系列过滤器，可在任何一天应用，以查看是否有任何交易失败。

我们想为每只股票的每一天数据运行这个过滤器。基本上是您的开始和结束日期类型报告。但是，每周为每个符号过滤需要 6 分钟。我们正在计算大约 40 小时左右来运行我们整个数据集的报告。

最重要的要求是我的客户能够从任何地方的任何计算机(他经常出差)在应用程序中做任何事情，所以我们是基于浏览器的。

为了解决这个问题，我编写了一个运行此报告的异步方法，但是应用程序池不活动计时器将终止该作业。我不想开始调整整个应用程序的超时来支持这个报告(我们将做很多这样的事情，因为每个股票场景都需要在我们的整个数据集上运行以进行分析，然后才能用于活跃交易)。

是否有人对支持超长异步进程的 Web 架构有任何一般的想法或经验？

谢谢

Answer 1

作为一般建议，我会推荐一个独立的 Windows 服务、控制台应用程序或类似的具有非常仔细的生命周期控制和日志记录的工具，它们将不断运行并检查(轮询)数据库中的“要处理的作业”，然后使用结果更新数据库并进度信息。

这可能不是最好的方法，但我之前已经使用过很多次了，它可靠、可扩展且性能良好。

最好将 Web 请求保持在最多一两分钟 - 它们从来不是为繁重的处理时间而设计的。通过这种方式，您可以每分钟左右“检查”一次作业状态(使用 Web 服务)。

如果您对我有任何疑问或对这个想法有任何疑问，请发表评论，我将很乐意提供帮助、详细说明或建议..

希望有帮助!

(附加:我相信 Windows 服务没有得到充分利用!只需要一个快速的基类或可重用帮助方法的集合，您就可以在您的控制下运行一个记录的、可靠的、自动的、可配置的、快速实现的过程。快速也可以制作原型(prototype)!)