c++ - 用 cython 包装的 C++ 函数的计时

Question

我真的不知道怎么问这个问题，但我会尽量说清楚。

我正在计时来自 python 的 C++ 函数调用。 C++ 函数用 cython 包装。我目前正在计时 cython 函数的 python 调用，我得到了 52.9 毫秒 time.time() .另一方面，我用 C++ std::chrono::high_resolution_clock 对整个 C++ 函数进行计时。图书馆。

事实是，我在 C++ 中测量了 17.1 毫秒。

C++函数是这样声明的vector<float> cppfunc(vector<float> array, int a, int b, int c);并且是 A 类方法。

cython代码只调用C++类方法。该 vector 包含大约 320k 个元素。

我想知道这两个测量时间是否可以这样比较？如果可以，什么可以解释这种差距？如果不是，我应该使用哪种计时工具？

Edit1:(评论中的链接)两个时序库都足够精确以用于我的用例(我的 arch 上的 cpp 为 10e-9，python 为 10e-6)。

Edit2: 添加了简化代码来说明我的观点。使用此代码，python 调用持续时间(~210 毫秒)是实习生 cpp 持续时间(~28 毫秒)的 8 倍。

// example.cpp
#include "example.h"
#include <iostream>
#include <chrono>

std::vector<float> wrapped_function(std::vector<float> array)
{
    auto start = std::chrono::high_resolution_clock::now();
    std::vector<float> result;
    for (int i = 0; i < (int) array.size(); i++) {
        result.push_back(array[i] / 1.1);
    }
    auto end = std::chrono::high_resolution_clock::now();
    std::chrono::duration<float> duration = end - start;
    printf("Within duration: %.5f\n", duration.count());
    return result;
}


// example.h
#ifndef __EXAMPLE_H_
#define __EXAMPLE_H_
#include <vector>
std::vector<float> wrapped_function(std::vector<float> array);
#endif


# example_wrapper.pxd
from libcpp.vector cimport vector
cdef extern from "example.h":
    vector[float] wrapped_function(vector[float])


# example_wrapper.pyx
from example_wrapper cimport wrapped_function
def cython_wrap(array):
    return wrapped_function(array)


# setup.py
from distutils.core import setup
from distutils.extension import Extension
from Cython.Distutils import build_ext
setup(
      cmdclass = {"build_ext": build_ext},
      ext_modules = [
            Extension(name="example_wrapper",
                      sources=["example_wrapper.pyx", "example.cpp"],
                      include_dirs=["/home/SO/"],
                      language="c++",
                      extra_compile_args=["-O3", "-Wall", "-std=c++11"]
                      )
            ]
)


# test.py
import example_wrapper
from time import time

array = [i for i in range(1000000)]
t0 = time()
result = example_wrapper.cython_wrap(array)
t1 = time()
print("Wrapped duration: {}".format(t1 - t0))

Answer 1

很明显区别是cython的开销，但为什么这么大？

包装函数的调用比看上去要复杂:

def cython_wrap(array):
       return wrapped_function(array)

array 是一个整数列表，wrapped_function 需要浮点 vector ，所以 cython 会自动创建一个 vector 并用列表中的值填充它。

wrapped_function 返回一个浮点 vector ，但为了被 python 使用，它必须转换为 python-list。 cython 再次自动创建一个 python-list 并用 python-floats 填充它，构建起来非常昂贵并且对应于返回 vector 中的 float 。

如您所见，正在进行大量复制，这解释了您观察到的开销。

Here是从 c++ 容器转换为 python 时 cython 自动应用的一组规则。

另一个问题:您正在按值传递 vector array，因此必须复制它。您的 c++ 代码时间不包括此复制，因此有点不公平。

您应该通过常量引用传递 vector ，即

... wrapped_function(const std::vector<float> &array)

还有一件事:您返回一个可能也将被复制的 vector ，并且此复制时间再次不包含在您的 c++ 计时中。然而，所有现代编译器都应用返回值优化，所以这在这里不是问题。