gpt4 book ai didi

hangfire - 排队和处理后台作业时出现内存不足异常

转载 作者:行者123 更新时间:2023-12-02 22:07:15 25 4
gpt4 key购买 nike

当使用 Hangfire 排队和处理后台作业时,我能够导致发生可重现的内存不足异常。 .

这些作业是简单的 Console.WriteLine 调用,因此我不希望堆内存以这种方式增加。

我的配置是否不正确,或者我应该考虑提出问题吗?

结果 ( VMMap )

使用 Redis 作为作业的后备存储:

  • 开始时,总堆 = 29,088K;
  • 5,000 个工作岗位后,为 938,672K;
  • 6,000 个工作岗位,1,056,004K;
  • 7,000 个工作岗位,1,219,296K;
  • 8,000 个作业,不存在堆值;
  • 在执行 100 多个作业后,iisexpress.exe 实例崩溃。

对于 SQL 存储,限制要高得多 ~= 15,000 个作业。

设置

  • 空 ASP.NET 项目;
  • 安装用于 IIS 托管和 Hangfire 的 Owin 软件包;
  • 启动类和 Controller 。

套餐

<?xml version="1.0" encoding="utf-8"?>
<packages>
<package id="Hangfire.Core" version="1.6.6" targetFramework="net452" />
<package id="Hangfire.Pro" version="1.4.7" targetFramework="net452" />
<package id="Hangfire.Pro.PerformanceCounters" version="1.4.7" targetFramework="net452" />
<package id="Hangfire.Pro.Redis" version="2.0.2" targetFramework="net452" />
<package id="Hangfire.SqlServer" version="1.6.6" targetFramework="net452" />
<package id="Microsoft.AspNet.WebApi.Client" version="5.2.3" targetFramework="net452" />
<package id="Microsoft.AspNet.WebApi.Core" version="5.2.3" targetFramework="net452" />
<package id="Microsoft.AspNet.WebApi.Owin" version="5.2.3" targetFramework="net452" />
<package id="Microsoft.CodeDom.Providers.DotNetCompilerPlatform" version="1.0.0" targetFramework="net452" />
<package id="Microsoft.Net.Compilers" version="1.0.0" targetFramework="net452" developmentDependency="true" />
<package id="Microsoft.Owin" version="3.0.1" targetFramework="net452" />
<package id="Microsoft.Owin.Host.SystemWeb" version="3.0.1" targetFramework="net452" />
<package id="Newtonsoft.Json" version="9.0.1" targetFramework="net452" />
<package id="Owin" version="1.0" targetFramework="net452" />
<package id="StackExchange.Redis" version="1.1.606" targetFramework="net452" />
</packages>

Controller

public class DefaultController : ApiController
{
static int _;

[HttpPost]
public void Post(int count = 1000)
{
for (var i = 0; i < count; ++i)
{
BackgroundJob.Enqueue(() => Console.WriteLine(_));

++_;
}
}
}

启动

static class AppSettings
{
internal static bool HangfireUseRedis => true;
internal static int RedisDatabase => 0;
internal static string RedisConnection => "localhost:6379";

internal static string SqlConnection => "Data Source=(localdb)\\v11.0;Initial Catalog=Hangfire";
}

public class Startup
{
public void Configuration(IAppBuilder app)
{
var config = new HttpConfiguration();

config.Routes.MapHttpRoute(
name: "Default",
routeTemplate: "{controller}/{id}",
defaults: new { id = RouteParameter.Optional }
);

if (AppSettings.HangfireUseRedis)
{
var redisOptions = new RedisStorageOptions
{
Database = AppSettings.RedisDatabase,
Prefix = "Foobar:"
};

GlobalConfiguration.Configuration.UseRedisStorage(AppSettings.RedisConnection, redisOptions);
}
else
{
GlobalConfiguration.Configuration.UseSqlServerStorage(AppSettings.SqlConnection);
}

JobHelper.SetSerializerSettings(new JsonSerializerSettings { TypeNameHandling = TypeNameHandling.All });

app.UseHangfireServer();
app.UseHangfireDashboard();

app.UseWebApi(config);
}
}

最佳答案

收到您的小型转储文件(1.2 GB)后,我能够获取有关您的进程堆的信息。它们中的大多数不包含任何有趣的内容,并且它们的大小相对较小,以下是最重要的一次的摘录:

GC Heap Size:    Size: 0x9f7eb8 (10452664) bytes.
Jit code heap: Size: 0x1000 (4096) bytes total, 0x905a4d00 (2421837056) bytes wasted.

正如我们所看到的,GC Heap Size 约为 10 MB,因此 .NET 代码本身不存在泄漏,因为它的大小相对较小。但是Jit代码堆看起来很奇怪,所以我决定看看进程使用了​​哪些模块,并找到了Stackify Profiler的一个:

6b0d0000 6b23a000   StackifyProfiler_x86   (deferred)

PEB 显示环境变量 StackifyIsPrefix=1,它告诉我们使用了 Stackify Prefix。分析器可能会修改检测工具的 JIT 代码,因此我决定安装 Stackify Prefix 来尝试重现该问题。

我创建了一个简单的 MVC 应用程序,修改了 Home/Index 操作以将 10000 个后台作业排入队列,并启用了探查器。完成此步骤后,我发现获取该页面需要很长时间 - 1.5 分钟,并且分析器没有显示任何数据。时间太长了。因此,我决定比较关闭分析器的时间 - 只花了 5 秒。这是一个巨大的差异,但我无法重现内存问题。

我将作业数量减少到 100,打开分析器并意识到对 Redis 的每次调用都会被统计,对 Redis 的调用有数百条记录。存储所有这些可能会引入内存问题,但我不知道它们到底是如何存储在 Stackify Prefix 中的。

Stackify Prefix Screenshot

我无法重现原始内存问题。但是,Stackify Prefix 确实会通过增加其持续时间来显着影响执行。 您是否尝试禁用 Stackify Prefix 分析器并重新运行测试?更新版本也可能修复内存问题。

关于hangfire - 排队和处理后台作业时出现内存不足异常,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40365747/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com