docker - 如何使用修改后的 telegraf 配置文件运行 docker compose 文件？

Question

我正在尝试在 MacOS 上运行 docker compose 文件来运行 Telegraf、Mosquitto (MQTT)、Grafana 和 InfluxDB。我正在尝试使用修改后的配置文件运行 Telegraf。最终目标是存储和显示从 arduino 肌肉传感器发送的数据。

docker compose 文件当前如下所示:

version: '3'

services: 
  influxdb:
    container_name: influxdb
    image: influxdb
    ports:
        - "8086:8086"
    environment:
      - INFLUXDB_DB=sensors
      - INFLUXDB_ADMIN_USER=telegraf
      - INFLUXDB_ADMIN_PASSWORD=telegraf
    restart: always

  telegraf: 
    image: telegraf
    restart: always
    ports: 
      - "5050:5050"
    volumes:
    - $PWD/telegraf.conf:/etc/telegraf/telegraf.conf:ro  

  grafana: 
    container_name: grafana
    image: grafana/grafana
    links:
      - influxdb
    hostname: grafana
    ports:
        - "3000:3000"

  mosquitto:
    container_name: mosquitto
    image: eclipse-mosquitto
    ports:
      - "1883:1883"
      - "9001:9001"
    depends_on: 
      - influxdb
    restart: always

我可以运行构建命令，并且 Mosquitto、Grafana 和 InfluxDB 似乎都可以运行，但是 Telegraf 存在许多问题。无论对 compose 文件中的卷进行什么更改，都会使用 Telegraf 的默认配置文件，而不是我修改过的配置，这似乎会阻止数据发送到 InfluxDB。

Telegraf 发布到 InfluxDB 的错误如下所示:

telegraf     | 2020-03-03T11:40:49Z E! [outputs.influxdb] When writing to [http://localhost:8086]: Post http://localhost:8086/write?db=telegraf: dial tcp 127.0.0.1:8086: connect: connection refused
telegraf     | 2020-03-03T11:40:49Z E! [agent] Error writing to outputs.influxdb: could not write any address

Mosquitto 似乎可以正常工作，因为 MQTT.fx 应用程序能够连接并发布/订阅容器。然而，定期建立和断开的连接名称未知。

连续记录以下连接错误:

mosquitto    | 1583247033: New connection from 172.25.0.1 on port 1883.
mosquitto    | 1583247033: Client <unknown> disconnected due to protocol error.

我考虑过编写一个 Telegraf dockerfile 来设置配置文件，但这似乎有点矫枉过正，因为我的理解是，撰写文件的卷部分应该允许使用此配置文件。

我的 telegraf.conf 文件与 docker-compose.yml 文件位于同一目录中。

问题是a) 我认为容器使用默认的 telegraf 文件是否正确b) 如何将更改后的 telegraf.conf 文件放到容器上

Answer 1

如果没有 telegraf 配置文件，就很难判断它是否正确加载以及是否存在网络问题......

我发现不使用:$PWD/telegraf.conf:/etc/telegraf/telegraf.conf:ro，将 docker 的配置文件包含在本地子目录中更有意义:.docker/telegraf/telegraf.conf:/etc/telegraf/telegraf.conf:ro。

如果您想使用 PWD 的完整路径，我建议 ${PWD}。根据我的经验，$PWD正在使用终端中的变量(您可以测试它是否使用echo $PWD分配)，其中${PWD} 实际上运行打印工作目录并输出结果(您可以使用 echo ${PWD} 在终端上进行测试。

为了完整起见，这个堆栈(基于 BME280 传感器和 Arduino)应该可以工作(为了安全 - 我已经更改了凭据，所以如果它不起作用，请从那里开始!)。我对此进行了评论，仅供引用，希望对您有所帮助:

version: '3'

# To Do:
# - Setup defined networks to protect influxdb and telegraf
# - Define a backup process for data
# - Monitor implications of version tags/docker container lifecycles

services: 

    # MQTT Broker, handles data from sensors
    # https://hub.docker.com/_/eclipse-mosquitto
    mosquitto:
        # Name this container so other containers can find it easily
        # Name used in: 
        # - Telegraf config
        container_name: mosquitto
        image: eclipse-mosquitto:1.6
        ports:
            - "1883:1883"
            - "9001:9001"
        depends_on: 
            - influxdb
        restart: always
        volumes:
            # Use a volume for storage
            # since influxdb stores data long term this might not be needed?
            - mosquitto-storage:/mosquitto/data

    # Data storage
    # https://hub.docker.com/_/influxdb
    influxdb:
        # Name this container so other containers can find it easily
        # Name used in: 
        # - Grafana data source 
        # - Telegraf config
        container_name: influxdb
        image: influxdb:1.5
        ports:
            - "8086:8086"
        environment:
            - INFLUXDB_DB=sensors
            - INFLUXDB_ADMIN_USER=admin-user
            - INFLUXDB_ADMIN_PASSWORD=telegraf-admin-password
            - INFLUXDB_USER=telegraf-username
            - INFLUXDB_PASSWORD=telegraf-password
        restart: always
        volumes:
          # Data persistence (could also be a bind mount: /srv/docker/influxdb/data:/var/lib/influxdb)
          - influxdb-storage:/var/lib/influxdb
          # Backups...
          - ./influxdb-backup:/backup
          # Host can run the following on a crontab, then rsnapshot can pickup:
          # docker exec -it influxdb influxd backup -database sensors /backup

    # Message formattet (MQTT -> InfluxDB)
    # https://hub.docker.com/_/telegraf
    telegraf: 
        image: telegraf:1.11
        restart: always
        ports: 
            - "5050:5050"
        depends_on: 
            - influxdb
        volumes:
            # This file needs edited with your MQTT topics, host, etc
            - .docker/telegraf/telegraf.conf:/etc/telegraf/telegraf.conf:ro

    # Dashboard/graphing
    # https://hub.docker.com/r/grafana/grafana
    grafana: 
        # Grafana tags are a mess! just use whatever...
        image: grafana/grafana
        links:
            - influxdb
        hostname: grafana
        ports:
            - "3000:3000"
        depends_on: 
            - influxdb
        volumes:
            # Grafana gets grumpy over bind mount permissions, use a volume
            - grafana-storage:/var/lib/grafana

volumes:
    mosquitto-storage:
    influxdb-storage:
    grafana-storage:

我的 telegraf 配置文件如下所示:

[[inputs.mqtt_consumer]]
  servers = ["tcp://mosquitto:1883"]

  topics = [
    "home/sensor/bme280/temperature",
  ]

  username = "mqttuser"
  password = "mqttpassword"
  data_format = "value"
  data_type = "float"

[[outputs.influxdb]]

  urls = ["http://influxdb:8086"]
  database = "sensors"
  skip_database_creation = true
  timeout = "5s"
  username = "telegraf-username"
  password = "telegraf-password" 
  user_agent = "telegraf"
  udp_payload = "512B"

请注意，我在 docker 中使用容器名称而不是本地 IP 地址。