python - 如何通过 ZeroMQ 将图像(opencv 矩阵/numpy 数组)从 C++ 发布者传输到 python 发送者？

Question

我知道如何通过 zeromq 将字符串消息从 C++ 发送到 Python。

这是我知道的发送字符串消息的代码:

C++ 发件人代码:

void *context = zmq_ctx_new();
void *publisher = zmq_socket(context, ZMQ_PUB);
int bind = zmq_bind(publisher, "tcp://localhost:5563");
std::string message = "Hello from sender";
const char *message_char = message.c_str();
zmq_send(publisher, message_char, strlen(message_char), ZMQ_NOBLOCK);

Python 接收代码:

context = zmq.Context()
receiver = context.socket(zmq.SUB)
receiver.connect("tcp://*:5563")
receiver.setsockopt_string(zmq.SUBSCRIBE, "")
message = receiver.recv_string()

我想要的是将图像从 C++ zeromq 发布者发送到 python 接收者。

Answer 1

免责声明:回答我自己的问题，这样其他人就不会停留在我做的地方。

那么让我们开始吧。

什么是零 MQ？

ZeroMQ 是一个高性能的异步消息传递库，旨在用于分布式或并发应用程序。它提供了一个消息队列，但与面向消息的中间件不同，ZeroMQ 系统可以在没有专用消息代理的情况下运行。

之前，我们开始这里是基础知识:

使用的协议(protocol)/库:ZeroMQ

发布者:面向 C++

订阅者:面向Python

---

通过 ZeroMQ 发送字符串/字符数组消息:

C++ 发布者:-

// Setting up ZMQ context & socket variables
void *context = zmq_ctx_new();
void *publisher = zmq_socket(context, ZMQ_PUB); 
int bind = zmq_bind(publisher, "tcp://*:9000");
std::string message = "Hello from sender";
const char *message_char = message.c_str(); // Converting c++ string to char array
// Sending char array via ZMQ
zmq_send(publisher, message_char, strlen(message_char), ZMQ_NOBLOCK);

Python 订阅者:-

// Setting up ZMQ context & socket variables
context = zmq.Context()
receiver = context.socket(zmq.SUB)
receiver.connect("tcp://localhost:9000")
// Subscribing to start receiving messages
receiver.setsockopt_string(zmq.SUBSCRIBE, "")
message = receiver.recv_string()

---

通过 ZeroMQ 发送图像/ndarray 数组消息:

对于处理图像，opencv 是一个很棒的库。简单、易于编码且速度极快。

C++ 发布者:-

void *context = zmq_ctx_new();
void *publisher = zmq_socket(context, ZMQ_PUB);
int bind = zmq_bind(publisher, "tcp://*:9000");

// Reading the image through opencv package
cv::Mat image = cv::imread("C:/Users/rohit/Desktop/sample.bmp", CV_LOAD_IMAGE_GRAYSCALE );
int height = image.rows;
int width = image.cols;
zmq_send(publisher, image.data, (height*width*sizeof(UINT8)), ZMQ_NOBLOCK);

在上面的代码中，图像被读取为灰度图像，您也可以通过在 opencv 的 imread 方法中传递适当的参数来读取 3 channel (RGB) 图像。

还记得相应地修改大小(zmq_send 函数调用中的第 3 个参数)。

Python 订阅者:-

context = zmq.Context()
receiver = context.socket(zmq.SUB)
receiver.connect("tcp://localhost:9000")
receiver.setsockopt_string(zmq.SUBSCRIBE, "")
// Receiving image in bytes
image_bytes = receiver.recv()
int width = 4096; // My image width
int height = 4096; // My image height
// Converting bytes data to ndarray
image = numpy.frombuffer(image_byte, dtype=uint8).reshape((width, height))

待办事项/改进:您还可以将来自 c++ 发布者的图像大小与图像数据一起传递。因此，可以在 python 端相应地 reshape 该图像。

ZMQ_SNDMORE 标志在这里派上用场

只需在 C++ 端添加另一个 zmq_send 语句。

zmq_send(publisher, img_height, strlen(img_height), ZMQ_SNDMORE)
zmq_send(publisher, img_width, strlen(img_width), ZMQ_SNDMORE)
zmq_send(publisher, image.data, (height*width*sizeof(UINT8)), ZMQ_NOBLOCK);

同理，在python端添加相应的接收语句。

height = receiver.recv_string(ZMQ_RCVMORE)
width = receiver.recv_string(ZMQ_RCVMORE)
image_bytes = receiver.recv()

---

另一个改进

感谢@Mark Setchell 指出改进。

直接通过网络发送大尺寸的 opencv 矩阵可能代价高昂。更好的方法是在通过网络发送之前对图像进行编码。

C++ 发布者:-

void *context = zmq_ctx_new();
void *publisher = zmq_socket(context, ZMQ_PUB);
int bind = zmq_bind(publisher, "tcp://*:9000");

// Reading the image through opencv package
cv::Mat image = cv::imread("C:/Users/rohit/Desktop/sample.bmp", CV_LOAD_IMAGE_GRAYSCALE );
int height = image.rows;
int width = image.cols;
cv::vector<uchar> buffer;
cv::imencode(".jpg", image, buffer);
zmq_send(publisher, buffer.data(), buffer.size(), ZMQ_NOBLOCK);

Python 订阅者:-

context = zmq.Context()
receiver = context.socket(zmq.SUB)
receiver.connect("tcp://localhost:9000")
receiver.setsockopt_string(zmq.SUBSCRIBE, "")
// Receiving image in bytes
image_bytes = receiver.recv()
// Decoding the image -- Python's PIL.Image library is used for decoding
image = numpy.array(Image.open(io.BytesIO(image_byte)))