python - 通过模拟 IP 套接字、串行端口和共享库来测试应用程序的有效测试策略是什么？

Question

我希望为使用外部共享库的 C++ 应用程序编写一些自动化集成测试 - 特别是 Raspberry Pi 上的 WiringPi。该库用于读取/写入 RPi 上的 GPIO。我目前正在使用WiringPi-Sim在 Intel/AMD Linux 主机上，这只是一组基本 stub ，除了允许在非 RPi 主机上构建和运行应用程序之外什么也不做，这是我更喜欢运行测试的地方。

被测 C++ 应用程序 (AuT) 与其他进程建立少量 TCP 连接，并从另一个进程接收 UDP 数据报。它还将一些数据写入串行 TTY(通常是外部 RS485 适配器)。

对于测试，我需要通过将 AuT 视为黑匣子并尽可能多地删除对 RPi、串行设备、外部进程等的依赖来检查一些事情:

• AuT 正确启动并将一组 GPIO 初始化为特定值。
• AuT 在执行期间将一组 GPIO 更改为特定值。
• AuT 响应 TCP 和 UDP 套接字上的传入数据。
• AuT 在串行 TTY 上写入和读取特定数据。
• AuT 在收到适当的信号(例如 SIGINT)后正确关闭，结果是在 TTY 上看到特定数据，并且 GPIO 设置为特定的最终值。

我目前的想法是使用Python(例如pytest)来实现测试:

• 可以在 Python 测试应用程序中创建简单的 TCP 服务器，以假装是 AuT 可以连接的外部 TCP 服务器应用程序，
• Python 测试应用中的简单 UDP 发送器可以将适当的数据发送到 AuT 上的 UDP 套接字。
• 可以创建一个假 TTY 作为串行端口，Python 测试应用程序可以从中读取/写入(也许通过 socat？)，AuT 也可以，
• 可以编写基于 WiringPi-Sim 的库或共享对象，以允许 Python 测试应用监控和影响 GPIO 状态(就 AuT 可见而言)。
• 然后，Python 应用程序可以启动主进程并发送适当的信号来检查行为。

我不太确定的是 WiringPi“模拟”共享对象。我知道可以使用 LD_PRELOAD 将其注入(inject) AuT 进程，但我不确定如何与 Python 测试应用程序中的模拟对象进行通信。我是否需要利用共享内存或某种 IPC 来允许 AuT 中的库实例与 Python 测试应用程序进行通信？ Python 测试应用程序可以运行 TCP 服务器并且 WiringPi 模拟可以“在幕后”连接以将数据/控制中继到测试应用程序吗？模拟对象能否以某种 Python 友好的方式与 Python 集成？

模拟的共享对象是否可以通过 UNIX 套接字或管道与测试应用程序进行通信？

我有 C++ AuT 的完整源代码，因此我可以用 C++ 而不是 Python 来实现其中的大部分或全部，但是某些方面(例如简单的 TCP 服务器)用 Python 编写会更快、更简单。我也非常喜欢 pyenv。

我想知道是否已经有针对这种测试工具的解决方案。它不需要基于Python，但我已经习惯了。有什么想法吗？

编辑:另一个想法是提取 AuT 的核心，并使用 C++ 语言绑定(bind)、依赖项注入(inject)和 C++ 模拟来测试它。然而，一个重要的要求是测试构建的应用程序，而不是应用程序的源代码级修改，因为出于安全和审计原因，在交付的同一二进制文件上运行这些测试非常重要.

Answer 1

这是一个如何完成的建议。这只是一个想法 - 我还没有尝试过。

首先，Python 手册中描述了 Python 和 C 之间的交互:https://docs.python.org/3/extending/extending.html 。您可以用 python 编写测试环境，然后从 Python 的一些测试用例中调用用 C++ 实现的 AuT。并且，您可以从此 C++ 代码再次调用一些 Python 代码。

因此，可能接近您正在寻找的内容的是以下调用链:

python-test-case -> AuT -> wiringPi-sim -> python-test-callbacks

从 python-test-case 中，您可以配置相应的 python-test-callbacks 以根据该特定测试用例的需要进行操作。完成此设置后，python-test-case 将调用 AuT，后者又调用一个或多个 wiringPi-sim 函数，其中每个函数调用其相应的python-test-callback。

问题是，目前 WiringPi-sim 以非常简单的方式实现接口(interface)，不支持注入(inject)特定行为。例如，digitalRead 函数的 stub 如下:

int digitalRead(int pin) {
    return 1;
}
;

为了使其更有用，您必须扩展其功能，这样您就可以为 digitalRead 函数调用一些 Python 回调，而不是执行 return 1可以从Python测试用例进行配置。这需要修改 WiringPi-sim 或编写您自己的。然而，据我所知，wiringPi-sim 只有少量代码，因此对您来说可能是可行的。