python-3.x - 如何将 Kafka 消费者连接到 Django 应用程序？我应该为消费者或新进程或新的 docker 容器使用新线程吗？

Question

我有 Django 应用程序，它应该使用 Kafka 消息并使用我的处理程序和现有模型处理它。我用 https://kafka-python.readthedocs.io/en/master/usage.html图书馆。

将 KafkaConsumer 连接到 Django 应用程序的正确方法是什么。我应该使用一个新的守护线程吗？还是新工艺？或者一个单独的 docker 容器？在哪里放置代码(新的 Django 应用程序？)以及如何在 Django 应用程序准备就绪时自动启动它。以及如何更新它动态监听的主题:我应该杀死旧消费者并在新线程中每次启动新消费者吗？

Answer 1

有类似的问题，我做的是create a custom Django command ，然后继续为您的功能添加处理程序方法。在部署中，您可以将其作为边车容器启动。

class Command(BaseCommand):
    def handle(self, *args, **options):
    
        consumer = kafka.KafkaConsumer(KAFKA_TOPIC_NAME,bootstrap_server=["localhost:9092"],group_id=KAFKA_CONSUMER_GROUP)

        for message in consumer:
            handler_method(message)

作为 sidecar，它会在启动时选择消费者中的任何消息。