kubernetes - 从存储帐户恢复日志到部署在 KUBERNETES 上的 Elasticsearch 的架构是什么？

Question

我正在研究 siem soc 的发展，我的实际问题是将我的日志从我在 Azure 上的存储帐户恢复到部署在 KUBERNETES 上的 pod 上的 Elasticsearch 数据。所以我想知道正确的方法。

对于 filebeat，azureblod 没有input，只有output

Logstash 似乎在没有代理的情况下无法工作。

谢谢!

Answer 1

您可以考虑一种方法来完成您的任务。 Azure 中的 Kubernetes 允许您使用容器部署 Azure 文件共享。如果您将日志移动到文件共享，您应该能够完成您的项目。

我建议查看 Diego 的帖子 here ，它展示了如何从存储帐户(特别是 FileShare)访问日志。

这是教程的简介:

1- *使用您自己的参数创建一个 Azure 存储帐户(部署模型:资源管理器；类型:通用)。在下一步中您将需要 Azure 存储帐户名称。

2- 使用您的 Azure 存储帐户名称修改此 .yaml 文件中的 storageAccount 参数并将其部署到您的 Kubernetes 集群:kubectl apply -f sidecar-storageclass.yaml。它将使用你的 Azure 文件存储帐户创建一个 Kubernetes 卷。

3- 将此 .yaml 文件部署到您的 Kubernetes 集群:kubectl apply -f sidecar-pvc.yaml。它将为您的卷创建一个卷声明，以便在您的 pod 中使用它。

4- 通过添加(修改 logFileDirectory 参数)此内容来修改您的应用程序部署 .yaml 文件，并将其部署到您的 Kubernetes 集群。它会将卷添加到您的 pod 并在其上存储 logFilesDirectory。

5- 使用此 .yaml 文件中的数据修改 logReaderName(您将使用此参数过滤日志)、logFileDirectory (x2) 和 logFileName，并将其部署到您的 Kubernetes 集群:kubectl apply -f sidecar-logreaderpod。 yaml。它将创建 Log Reader pod 并将 logFile 内容写入 STDOUT。

Log Reader pod 使用 tail 命令写入 STDOUT。可以修改tail命令，比如在同一个STDOUT中写入不同的文件(扩展名.log):tail -n+1 -f//*.log部署日志读取器后，您可以开始检查按 pod 名称过滤的日志(您在部署最后一个 .yaml 文件时选择了它):

kubectl get pods
kubectl logs <podname>