如何利用MongoDB存储Docker日志详解-6ren

如何利用MongoDB存储Docker日志详解

转载作者：qq735679552 更新时间：2022-09-29 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章如何利用MongoDB存储Docker日志详解由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

前言。

日志是系统很重要的一个组成部分，通过日志可以及时发现系统中存在的问题，也可以为修复问题提供线索。Docker提供了多种插件方式管理日志，本文就对使用MongoDB存储Docker日志的过程做个记录.

数据流。

如何利用MongoDB存储Docker日志详解

Docker产生的日期发送到 FluentD，然后FluentD在转存到MongoDB.

配置Fluentd 。

前提：操作系统是CentOS7，已安装MongoDB3.4 。

1. 安装Fluentd 。

CentOS 7的软件库并没有包含Fluentd的安装包，所以需要手动安装。在CentOS使用的软件td-agent.

 
    ? 
   
         # curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh

上面命令会在/etct/yum.repo.d/目录中，创建一个td-agent的安装库 td.repo，然后自动安装td-agent。安装完毕后设为自动启动.

 
    ? 
   
         # systemctl start td-agent 
        
         # systemctl enable td-agent

如果在启动过程中出现问题，可以查看位于/var/log/td-agent/下日志文件td-agent.log 。

2. 配置将docker日志转存到MongoDB 。

转存到MongoDB需要插件支持，但是默认情况下td-agent是没有安装该插件的，需要安装.

 
    ? 
   
         # yum -y install td-agent-gemt 
        
         # td-agent-gem install fluent-plugin-mongo

编辑/etc/td-agent/td-agent.conf，增加。

 
    ? 
   
         ## match tag=docker.* and dump to mongodb 
        
         ## 在docker启动容器时，日志的tag要符合docker.*的形式 
        
         <match docker.*> 
        
         @ 
         type 
         mongo 
        
         # 数据库地址 
        
         host 127.0.0.1 
        
         # 数据库端口 
        
         port 22017 
        
         # 存储日志的数据库和数据集名称 
        
         database docker 
        
         collection log 
        
         < 
         /match 
         >

重启td-agent.

启动容器。

启动容器的命令改为:

 
    ? 
   
         $ docker run -- 
         mount 
         type 
         =bind, 
         source 
         = 
         /home/demo/app 
         ,destination= 
         /app 
         --log-driver=fluentd --log-opt tag= 
         "docker.log" 
         python3:latest python3  
         /app/test 
         .py

运行完毕后，可以到MongoDB中查看日志.

后续。

但是在实际的使用过程中，却发现Docker生成的日志并不会立即写入到MongoDB中，有大概1分钟左右的延迟.

查阅Fluentd的文档得知，有一个flush参数可以控制日志的写入频率，默认的是60s。更改flush_interval参数就可以提高写入频率，具体更改如下:

 
    ? 
   
         ## match tag=docker.* and dump to console <match docker.*> @type mongo host 127.0.0.1 port 22017 database docker collection log <buffer> flush_mode interval flush_interval 1s </buffer> </match>

刚开始对文档理解不太透彻，增加了flush_interval参数后，并没有发挥作用，第一次更改时，并没有将flush_mode和flush_interval放在buffer结构中。也就是:

 
    ? 
   
         ## match tag=docker.* and dump to console <match docker.*> @type mongo host 127.0.0.1 port 22017 database docker collection log flush_mode interval flush_interval 1s </match>

从日志中也可以看出上面的配置，并没有发挥作用:

2018-01-19 14:33:32 +0800 [warn]: parameter '**flush_mode**' in <match docker.*> @type mongo host "1270.0.0.1" port 22017 database "docker" collection "log" flush_mode interval flush_interval 1s buffer_chunk_limit 8m time_key time <inject> time_key time time_format %Y-%m-%d %H:%M:%S.%L </inject> </match> is not used. 。

上面说flush_mode并没有起作用.

总结。

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对我的支持.

参考文档:

https://docs.treasuredata.com/articles/td-agent
https://docs.docker.com/engine/admin/logging/fluentd/
https://docs.fluentd.org/v1.0/articles/out_mongo

原文链接：https://blog.csdn.net/mydeman/article/details/79091037 。

最后此篇关于如何利用MongoDB存储Docker日志详解的文章就讲到这里了,如果你想了解更多关于如何利用MongoDB存储Docker日志详解的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐： mongodb增量/全量备份脚本的实现详解

文章推荐： mongodb增量备份脚本的实现和原理详解

文章推荐：关于单台MongoDB实例开启Oplog的过程详解

文章推荐： Mongodb基本操作与Python连接mongodb并进行基础操作的方法

docker - docker ， docker 没有IPAddress检查
我正在使用以下dockerfile: FROM ubuntu:14.04 MAINTAINER xxx xxx # SSH RUN apt-get update && apt-get install
docker - Docker docker-compose不获取相关的缓存镜像
我运行了docker-compose build celery，(经过数小时的尝试，我的连接不良)成功了。 app Dockerfile的前80％是相同的，但不会重复使用缓存。从我可以浏览的内容来看，
docker - docker 守护进程重新启动后，Docker 注册表中的所有存储库都会被删除 (docker-for-mac)
我可以使用以下命令成功创建 Docker 注册表 v2 服务:docker service create 然后我使用 docker Push 将一些图像推送到该服务。当我通过 curl localh
docker - 无法连接到 docker 的 docker 镜像中的守护进程 docker
我正在尝试使用 gitlab 构建 CI，我从 docker 的 docker 镜像开始，我的前端存储库没有任何问题，但现在使用相同的 gitlab-ci 配置文件，我有此守护程序错误。这是构建的输
docker - 最小化 Docker-in-Docker 容器内的 `docker build` 执行时间
用例: 我们在 Jenkins 中有几个“发布作业”build 和 push 应用程序的 Docker 镜像到 docker registry，更新各种文件中的项目版本，最后将发布标签推送到相应的 G
docker - 我无法使用 Docker 构建我的 docker 文件来创建我的 docker 镜像
当我尝试构建我的 docker 文件时，docker 返回以下错误: [+] Building 0.0s (1/2)
docker - 如何在不使用 docker-in-docker 的情况下在 jenkins 管道中使用 docker
docker-in-docker 的作者在此博客中建议不要将此图像用于 CI 目的: jpetazzo/Using Docker-in-Docker for your CI or testing en
docker - 在 Docker 容器中运行 Docker : Cannot connect to the Docker daemon
我创建了一个 Dockerfile 来在 Docker 中运行 Docker: FROM ubuntu:16.04 RUN apt-get update && \ apt-get in
docker - 如何在 Docker 命令行的 Docker 注册表中找到具有特定标记的 Docker 镜像？
我尝试为 Docker 镜像定位一个特定标签。我怎样才能在命令行上做到这一点？我想避免下载所有图像，然后删除不需要的图像。在 Ubuntu 官方版本中，https://registry.hub.do
docker - docker 内的 docker ，发布HTTP错误
我正在尝试在docker中运行docker。唯一的目的是实验性的，我绝不尝试实现任何功能，我只想检查docker从另一个docker运行时的性能。我通过Mac上的boot2docker启动docke
docker - Docker:docker-compose.yml中用于自动重新部署新镜像的选项
docker-compose.yml version: "3" services: daggr: image: "docker.pvt.com/test/daggr:stable"
docker - 在 Docker 容器内访问 Docker
我有一个非常具体的开发环境用例。在一些代码中，我启动了一个容器来抓取页面并检索在容器中运行的服务(Gitlab)的 token 。现在，我希望 Dockerize 运行它的代码。具体来说，类似: o
docker - docker-compose文件vs docker bundle
之前已经问过这个问题，但我不确定当时是否可以使用docker-compose文件完成docker堆栈部署。由于最新版本支持使用compose将服务部署到堆栈，因此，我无法理解dab文件的值。我检查
docker - docker 池和 docker 注册表有什么区别？
我在一次采访中被问到这个问题，但无法回答。也没有找到任何相关信息。最佳答案正如 Docker 文档中所述，Docker 注册表是: [...] a hosted service containin
docker - docker :如何将 docker 中的所有png文件复制到主机？
有没有一种方法可以将具有给定扩展名的所有文件复制到Docker中的主机？就像是 docker cp container_name:path/to/file/in/docker/*.png path/o
docker - docker 日志级别会影响日志记录驱动程序还是仅影响 docker 守护程序的日志？
我的日志驱动程序设置为journald。使用日志记录驱动程序时，daemon.json文件中的日志级别配置会影响日志吗？使用docker logs 时仅会影响容器日志？例如，docker和journ
docker - docker 服务如何管理从单独的 docker 容器调用实例？
我最近开始使用Docker + Celery。我还共享了full sample codes for this example on github，以下是其中的一些代码段，以帮助解释我的观点。就上下文
docker - docker :无法提交构建的 docker 镜像
运行docker build .命令后，尝试提交构建的镜像，但收到以下错误 Step 12 : CMD activator run ---> Using cache ---> efc82ff1ca
docker - Docker + docker-组成+无法启动服务
我们有docker-compose.yml，其中包含Kafka，zookeeper和schema registry的配置当我们启动docker compose时，出现以下错误 docker-comp
docker - docker 基本图像存储库ouside docker 中心？
我是Docker的新手。是否可以在Docker Hub外部建立Docker基本镜像存储库？假设将它们存储在您的云中，而不是拥有DH帐户？谢谢。最佳答案您可以根据需要托管自己的注册表。可以在Depl

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

如何利用MongoDB存储Docker日志详解