c# - 在应用域之间快速传递大量数据

Question

我有一个应用程序用于将大型数据集(数百万条记录)从一个数据库导入另一个数据库，在此过程中进行比较(IE 删除已删除的内容、更新内容等)。由于许多外键约束等因素，为了加快应用程序的处理速度，它将整个目标数据库加载到内存中，然后尝试加载源数据库的部分内容并进行内存比较，更新目的地在内存中。最后它将这些更改写回目的地。数据库不一对一匹配，因此一个中的单个表可能是另一个中的多个表，等等。

所以我的问题是:目前运行这个过程需要几个小时(有时接近一天，具体取决于添加/更改的数据量)，这使得调试变得非常困难。从历史上看，当我们遇到错误时，我们会进行更改，然后重新运行应用程序，该应用程序必须再次将所有数据加载到内存中(花费相当长的时间)，然后运行导入过程，直到我们到达原来的部分然后我们祈祷，希望我们的改变奏效。这一点都不好玩:(

为了加快调试过程，我正在通过将导入代码移动到一个单独的 dll 中来进行架构更改，该 dll 加载到一个单独的应用程序域中，以便我们可以卸载它，进行更改，然后重新加载它并尝试运行一个部分再次导入，从我们停下的地方继续，看看我们是否能得到更好的结果。当我想出这个计划时，我认为我是个天才 :) 但它有一个问题。我要么必须将目标数据库中的所有数据加载到第二个应用程序域，然后在卸载之前，使用 [Serializable] 交易将其全部复制到第一个(卸载和重新加载 dll 时这真的很慢)或加载主机 appdomain 中的数据，并在第二个使用 MarshalByRefObject 引用它(这似乎使整个过程变慢)

所以我的问题是:我怎样才能快速做到这一点？就像，最多一分钟!我希望只复制数据，就像它只是通过引用传递一样，而不必实际进行完整复制。

我想知道是否有更好的方法来实现这一点，以便数据可以更好地在两者之间共享或至少在它们之间快速传递。我已经搜索并找到了推荐使用数据库的东西(我们将数据加载到内存中以避免数据库)或者只是说使用 MarshalByRefObject 的东西。我很想做一些简单的事情，但还没有真正奏效。

我在某处读到加载 C++ dll 或非托管 dll 会导致它忽略应用程序域并可能引入一些问题。无论如何，我是否可以利用它来发挥我的优势，IE，加载一个非托管 dll，为我或其他东西保存我的列表，并用它来欺骗我的应用程序，使两个应用程序域使用相同的内存，以便列表在我通过卸载应用程序域来卸载其他 dll？

我希望这是有道理的。这是我在这里的第一个问题，所以如果我做得很糟糕，请帮助我。这让我沮丧了几天。

Answer 1

为了仅加载/卸载应用程序的一部分，应用程序域方法是一种很好的分离方法。不幸的是，正如您发现的那样，在两个应用程序域之间交换数据并不容易/快速。这就像两个不同的系统进程试图通信，但总是比同一个进程通信慢。所以要走的路是使用尽可能快的进程间通信机制。跳过 WCF，因为它会增加您不需要的开销。使用 named pipes通过它您可以非常快速地传输数据。我以前用过，效果很好。要走得更快，您可以尝试 MemoryMappedFile ( link )，但这更难实现。从命名管道开始，如果这太慢，请使用内存映射文件。

即使使用快速发送方式，您也可能遇到另一个瓶颈——数据序列化。对于大量数据，标准序列化(甚至二进制)非常慢。你可能想看看谷歌的 protocol buffers .

关于 AppDomain 的一个警告 - 应用程序域之一中的任何未捕获的异常都会导致整个过程中断。不幸的是，它们并没有那么分离。

旁注。我不知道您的应用程序做什么，但数百万条记录似乎并不过分。也许还有优化的空间？