python - 如何编译整个 Python 库(包括依赖项)以便它可以在 C 中使用？

Question

如何编译整个 Python 库及其依赖项，以便它可以在 C 中使用(无需调用 Python 的运行时)。即编译后的代码嵌入了Python解释器，系统不需要安装Python。

据我了解，当使用 Cython 编译 Python 代码时:

• 如果使用 --embed 参数，则不调用 python 运行时
• 单独编译文件
• 允许调用不同的模块(从 Python 运行时/其他编译的 Cython 文件)

目前还不清楚的问题是:

• 如何从 C 中使用这些模块文件？编译后的 Python 文件在 C 中使用时是否可以调用其他编译后的 Python 文件？
• 是只需要声明库入口点还是需要声明所有函数？
• 如何管理 Python 依赖项？如何编译它们(这样就不需要 Python 运行时)。

一个名为 module 的 python 库的简化示例，其中 __init__.py 是一个空文件:

module/
├── run.py
├── http/
│   ├── __init__.py
│   ├── http_request.py

http_requests.py 包含:

import requests

def get_ip():
    r = requests.get('https://ipinfo.io/ip')
    print(r.text)

和 run.py 包含以下内容:

from http import http_request

if __name__ == '__main__':
    http_request.get_ip()

如何在不使用 Python 运行时的情况下从 C 调用函数 get_ip(运行应用程序时需要安装 Python)。

上面的例子很简单。实际用例是以高采样率在 C 中收集/处理机器人数据。虽然 C 非常适合基本数据处理，但也有优秀的 Python 库可以进行更全面的分析。目标是对已在 C 中部分处理的数据调用 Python 库。这将使我们能够更详细地了解数据(并“实时”处理)。数据框架太大，我们的团队无法用 C 语言重写。

Answer 1

How to compile a whole Python library along with it's dependencies so that it can be used in C (without invoking Python's runtime).

这在一般情况下是不可能的。 Python 代码实际上应该在 Python 解释器上运行。

有时，当只使用 Python 的一小部分时(甚至间接您的 Python 代码使用的所有内容)，您可能会使用 Cython (它实际上是 Python 的一个小子集的超集:很多真正的 Python 特性不能从 Cython 中使用，或者使用 Python 解释器)。但并不是每个 Python 代码都可以被 cythonized，因为 Python 和 C 有一个非常不同(且不兼容)的 semantics (和 memory management )。

否则(而且最常见)，使用 Python 的 C 代码应该 embed the Python interpreter .

如果您的目标是让许多 C 程序(在没有 Python 的系统上)使用一个自给自足的 C 库，那么一个更明智、更稳健的方法是用 C 重写您的代码。

您还可以考虑启动(在您的 C 库中)一些 Python 进程(类似于服务器，执行您的 Python 操作)并使用 inter-process communication设施，这将是特定于操作系统的。当然，Python 需要安装在使用您的库的应用程序的系统上。例如，对于 Linux，您可以在库中 fork 一些 Python 进程，并使用 pipe(7)或 unix(7)套接字从 C 库到该进程的通信(可能使用类似 JSONRPC 的东西)。

您的编辑(仍不是 MCVE )显示了一些用 Python 完成的 HTTP 交互。您可以考虑在 C 中借助 C 中的 HTTP 客户端库(如 libcurl)来执行此操作，或者(如果需要的话)HTTP 服务器库，如 libonion .

因此请考虑用 C 重写您的内容，但使用几个现有 C 库(如何选择以及选择什么是一个非常不同的问题，可能是 off-topic on StackOverflow )。否则，接受对 Python 的依赖。

The actual use case is collecting/processing robotics data in C at a high sampling rate. Whilst C is great for basic data processing there are excellent Python libraries which allow for much more comprehensive analysis.

您可以在 Python 中保留高级内容(请参阅 this )，但在 C 中重新编写低级内容以加速它们(许多软件正在这样做，例如 TensorFlow，...)，可能如 extensions in C for Python或在其他一些过程中。当然，这意味着一些开发工作。如果您在 Python 中使用大量代码，我认为完全避免使用 Python 是不合理的(完全摆脱 Python 是不切实际的)。顺便说一句，您可能会考虑在您的 C 应用程序中嵌入一些其他语言(例如 Lua、Guile、Ocaml - 据传它们都比 Python 更快)并让 Python 保持更高级别，在其他进程中运行。

您需要在事物的架构设计上投入更多精力。我不确定完全避免使用 Python 是否明智。混合使用 Python 和 C(也许通过多个进程协作)可能更明智。当然你会有操作系统特定的东西(特别是在 C 端，用于进程间通信)。如果在 Linux 上，请阅读一些有关 C 语言的 Linux 系统编程的内容，例如ALP或更新的东西。