python - 如何获取 ConsumerRecord 中的字段

Question

我写了一个 python 脚本:

#!/usr/bin/env python
from kafka import KafkaConsumer
consumer = KafkaConsumer('dimon_tcpdump',group_id='zhg_group',bootstrap_servers='192.168.100.9:9092')
for msg in consumer:
    print msg
    # process mes here

消息输出如下:

ConsumerRecord(topic=u'ditopic', partition=0, offset=6280, timestamp=None, timestamp_type=None, key=None, value='myvalue')

我知道输出是一个命名元组形式。

我的问题是:如何获取ConsumerRecord 的特定字段？例如，我想将值字符串分配给一个变量。

Answer 1

这可能与反序列化数据的方式有关。例如，如果您想从 msg 中获取一些 JSON。您将使用以下内容初始化 Consumer:

value_deserializer=lambda m: json.loads(m.decode('utf-8'))

所以你的代码看起来像这样:

#!/usr/bin/env python
from kafka import KafkaConsumer
consumer = KafkaConsumer(
   'dimon_tcpdump',
    group_id='zhg_group',
    value_deserializer=lambda m: json.loads(m.decode('utf-8')),
    bootstrap_servers='192.168.100.9:9092'
    )
for msg in consumer:
    print msg.value
    # process mes here