c# - 使用 Entity Framework 和 LINQ 查询大型数据集时如何避免内存溢出

Question

我有一个处理所有数据库方法的类，包括 Entity Framework 相关的东西。当需要数据时，其他类可能会调用此类中的方法，例如

public List<LocalDataObject> GetData(int start, int end);

数据库正在使用 LINQ to EF 进行查询，然后调用类可以遍历数据。但由于其他类无法访问 EF 中的实体，我需要对查询执行“ToList()”操作，并将完整的数据集提取到内存中。

如果这个集合非常大(10 到 100 GB)会怎样？

是否有一种更有效的迭代方式，同时仍然保持松散耦合？

Answer 1

在 Entity 框架中处理大型数据集的正确方法是:

• 使用 EFv4 和 POCO 对象 - 它将允许与上层共享对象而不引入对 Entity Framework 的依赖
• 关闭代理创建/延迟加载以从对象上下文中完全分离 POCO 实体
• 公开 IQueryable<EntityType>允许上层更精确地指定查询并限制从数据库加载的记录数
• 公开时IQueryable设置 MergeOption.NoTracking在 ObjectQuery在您的数据访问方法中。将此设置与关闭的代理创建相结合应该会导致不缓存实体，并且通过查询结果进行迭代应该始终只加载单个实体化实体(不缓存加载的实体)。

在您的简单场景中，您始终可以检查客户端没有询问太多记录，并简单地触发异常或仅返回允许的最大记录数。