docker - 卡夫卡中的数据如何在容器回收中幸存？

Question

首先，我不知道这个问题是Kafka还是Docker……我是这两个话题的新手。但是我认为它更多的是Docker，而不是Kafka的问题(实际上，这是我的问题，不是真正了解彼此……)。

我在Raspberry 4上安装了Docker，并为Kafka和Zookeeper创建了Docker镜像。我必须自己创建它们，因为任何现有镜像均不支持64位Raspi(至少我找不到任何人)。但是我让他们工作。

接下来，我从Kafka文档中实现了Kafka Streams示例(Wordcount)。它运行良好，可以对您输入的所有文本中的单词进行计数，并保留之前所有运行中的数字。这是某种预期的；至少在该文档中对此进行了描述。

因此，在进行一些测试后，我想重新设置整个过程。

我认为到达那里的最简单方法是关闭Docker容器，删除主机上已安装的文件夹并重新开始。

但这是行不通的:计数器这个词仍然存在!表示字数不是从0开始...

好吧，下一轮:不仅移除容器，还重建图像!当然是Zookeeper和Kafka!

没有不同!保留了之前所有运行的字数。

使用docker system prune --volumes也没有区别……

从对Docker的有限了解出发，我假设所有运行时数据都存储在容器中，或存储在已安装的文件夹(卷)中。因此，当我删除容器以及容器在Docker主机上安装的文件夹时，我希望任何状态都不会发生。

显然不是……所以我在这里错过了一些重要的事情，很可能与Docker有关。

我使用的docker-compose文件:

version: '3'

services:
  zookeeper:
    image: tquadrat/zookeeper:latest
    ports:
      - "2181:2181"
      - "2888:2888"
      - "3888:3888"
      - "8080:8080"
    volumes:
      - /data/zookeeper/config:/config
      - /data/zookeeper/data:/data
      - /data/zookeeper/datalog:/datalog
      - /data/zookeeper/logs:/logs
    environment:
      ZOO_SERVERS: "server.1=zookeeper:2888:3888;2181"
    restart: always

  kafka:
    image: tquadrat/kafka:latest
    depends_on:
      - zookeeper
    ports:
      - "9091:9091"
    volumes:
      - /data/kafka/config:/config
      - /data/kafka/logs:/logs
    environment:
      KAFKA_LISTENERS: "INTERNAL://kafka:29091,EXTERNAL://:9091"
      KAFKA_ADVERTISED_LISTENERS: "INTERNAL://kafka:29091,EXTERNAL://TCON-PI4003:9091"
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: "INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT"
      KAFKA_INTER_BROKER_LISTENER_NAME: "INTERNAL"
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_DELETE_TOPIC_ENABLE: "true"
    restart: always

我用来清除已安装文件夹的脚本文件:

#!/bin/sh

set -eux

DATA="/data"
KAFKA_DATA="$DATA/kafka"
ZOOKEEPER_DATA="$DATA/zookeeper"

sudo rm -R "$KAFKA_DATA"
sudo rm -R "$ZOOKEEPER_DATA"

mkdir -p "$KAFKA_DATA/config" "$KAFKA_DATA/logs"
mkdir -p "$ZOOKEEPER_DATA/config" "$ZOOKEEPER_DATA/data" "$ZOOKEEPER_DATA/datalog" "$ZOOKEEPER_DATA/logs"

有任何想法吗？

Answer 1

Kafka Streams将自己的状态存储在运行它的主机上的"state.dir"配置下。在Apache Kafka库中，这位于/tmp下。首先检查您是否在代码中覆盖了该属性。

就Docker而言，请先尝试不使用卷。

Using docker system prune --volumes made no difference also …

这将清除在Compose中用 docker volume create或 volumes:制作的未附加卷，而不是主机安装的目录。