c - 让群发邮件应用程序准确跟踪其进度的非常有效的方法是什么？

Question

我们有一个控制台应用程序(目前是 .NET)，它可以向订阅邮件列表的人批量发送邮件。由于该应用程序目前存在的局限性，我们正在重新实现该应用程序。

它必须具备的功能之一是，它可以在意外中断操作后恢复。这意味着每次成功发送电子邮件时，它都必须以一种可以从中断处继续发送的方式进行跟踪。它将从另一个服务器获取所需的信息(基本上是使用数字 ID 标识的收件人列表)，该服务器具有包含此信息的数据库。

我们的设置很简单:我们有一个包含收件人的基于 Windows 的网络/数据库服务器，我们有运行 Debian 的 SMTP 服务器。

我们提出了几个解决这个问题的方案:

1. 在每次发送操作后向数据库发送一个信号
2. 在每次发送操作后仅将收件人的最后一个 ID 写入此文件(每次写入都会覆盖其内容)，从而在一个小文件中保持跟踪。
3. 在主机上运行的数据库中进行跟踪(mysql、postgresql、sqlite 等)

限制是应用程序应该快速发送邮件。至于要发送的邮件数量，每批从几百到几万不等，每天也可能是几批。总的来说，每天通常有 1000 到 50.000 封邮件，但这个数字会增长。此外，它必须能够准确恢复，所以我不能等到发送了 50 封邮件，然后将进度写入文件或数据库等。

到目前为止，这是我针对上述解决方案得出的结论:

1. 目前，我们的应用程序正在使用此解决方案。但是应用程序将在与数据库服务器不同的服务器上运行(它们也不在同一网络中，但应用程序将在邮件服务器上运行，而不是当前情况)所以我无法想象这是最有效的解决方案。
2. 这可能会非常快，但它不会使硬盘驱动器过度疲劳，以至于其使用生命周期可能会严重缩短吗？ (我相信这台服务器是较旧的 Opteron，它可能早于 SATA，但如果是这样，也不会太早。)
3. 这可能非常快速、高效，但是是否有必要设置一个数据库来仅存储 2 个数字(批处理的 ID 和该批处理中最后一个收件人的 ID)？开销可能会减慢速度吗？

除了上述解决方案之外，是否还有其他我尚未考虑的选项，可以在不真正减慢应用程序速度的情况下进行跟踪？我的假设准确吗？

Answer 1

每天 1000-50000 封电子邮件对我来说并不算多，所以我认为您目前不必过分担心容量问题。在我工作的地方，我们有一个 Windows 服务的单个实例，它一次从数据库(我们的电子邮件数据存储在其中)读取 100 行，连续处理每一行并更新数据库以将电子邮件标记为已发送。我并不是说这是一个好的设计(它不是)，但我们经常使用此设置每天发送超过 50,000 封电子邮件。

如果您确实需要扩展 - 即您可以根据 future 3、6、12 个月的增长进行量化，并且显示显着增长 - 那么我会付出真正的努力现在进入可扩展性。如果您不这样做，我会专注于保持简单和轻量级。

为什么不在批量电子邮件应用程序处理每封电子邮件时将其标记为“处理中”，然后在工作完成后将其标记为“已发送”(均在数据库中)？这种方法还可以让您根据规模需求对应用程序进行多线程处理(当然，如果您为此进行设计)。