elasticsearch - 不使用 Elastic APM 将 OpenTelemetry 导出到 Elastic Search

Question

我想使用 OpenTelemetry 将跟踪/指标数据导出到 Elastic Search，但我更愿意避免使用 Elastic APM。是否可以？opentelemetry 贡献 repo显然暗示这是可能的，但是，我没有在 elastic.co 文档中找到任何内容。顺便说一句，openapm.io 暗示 see here , OpenTelemetry 可以导出到弹性节拍(这是非常可取的)，但同样，我没有在 Elastic.co 文档中找到任何内容。

Answer 1

当这个问题被问及时，OpenTelemetry 标准和实现还很年轻。即使在我写这个答案的时候，有些事情还没有完全实现或解决，但是 TLDR；是的，这是可能的，它有效而且是史诗般的!

A good reference I go back to quite often can be found here

您需要了解可观察性范式中的三个关键要素。跟踪、日志和指标。所有这些都是独立的，分别工作和实现。

到目前为止，我在 .NET Framework 和 AspNetCore 中配置它的主要发现除了配置方式之外是相同的。

Trace and Metrics 与 SDK Builders 一起工作，Logging 使用 ILoggerProvider 模式

These examples use the non DI methods for manual configuration. Youcan use Contrib.Hosting and read the guides there for DI approach.

追踪

System.Diagnostics.Activity.DefaultIdFormat = System.Diagnostics.ActivityIdFormat.W3C;

默认情况下，NetCore 中全局的 NetFramework 应用程序需要它

var traceProviderBuilder = Sdk.CreateTracerProviderBuilder();

获取构建器设置

traceProviderBuilder
    .AddSource("*")
    .SetResourceBuilder(
        ResourceBuilder.CreateDefault()
            .AddService(ResourceNameHelper.ServiceName)
            .AddAttributes(otelAttributes)
            .AddTelemetrySdk());

这里发生了一些事情

• AddSource("*") 将 SDK 订阅到所有事件(System.Diagnostics)——我使用它是为了便于使用
• SetResourceBuilder 用于设置您的服务的名称，以便 Elastics 可以对这些进行分组
• OtelAttributes 是一个具有 new KeyValuePair<string, object>("deployment.environment", environmentName) 的键值集合在其中，这样您就可以在 Elastics 中使用 Environment 下拉菜单

这是所需的核心配置，因此您可以订阅自己的 Traces，但您希望之后添加 Instrumentation，例如

• AddAspNetInstrumentation(options => { options.RecordException = true; })
• .AddHttpClientInstrumentation((httpConfig) => { httpConfig.RecordException = true; })
• AddSqlClientInstrumentation((sqlConfig) => { sqlConfig.EnableConnectionLevelAttributes = true; sqlConfig.SetDbStatement = true; })
• .AddAWSInstrumentation()

现在是导入部分，OtlpExporter

traceProviderBuilder.AddOtlpExporter(options)

传入你的选项

otlpExporter.Protocol = OtlpExportProtocol.Grpc;
otlpExporter.Endpoint = new Uri(otlpEndpoint);
otlpExporter.Headers = otlpHeaders;

header 是您需要从 Kibana 获得的不记名 token 。

最后你构建它

.Build()

像这样手动配置时，您需要管理 SDK 的处理。这就是推荐使用 DI 的原因。

Phew.. 那里正在进行一些配置。但是一旦你以最基本的形式运行它，你就会开始看到 Traces 出现在 Elastics 的可观察性部分。第一次执行此操作时，您需要给 Elastics 一些时间来整理其索引和跟踪流(在云版本中，所有这些都是自动完成的，因为您在 Fleet 中启用了新版本的 APM - 没有提及 OpenTelemtry 配置该页面。只需复制并粘贴它为您提供的 URL 和 key )

指标

基本上这同样适用于 Metrics.. 你必须重新做一遍但是使用

_meterProvider = Sdk.CreateMeterProviderBuilder().AddRuntimeMetrics()

然后是所有的检测和 OtlpExporter 选项。

在 Framework 中，指标是非常有限的运行时指标，但在 AspNetCore 中它们是不错的。

记录

根据 Dotnet OpenTelemetry 文档，这很容易实现，但到今天为止有点问题(希望它在 1.3 版中稳定)

---

我很抱歉发了这么长的帖子，但我希望这能对人们有所帮助，因为我自己在 Elastics、OpenTelemetry 或 Dotnet Github 页面上几乎没有这方面的文档。