c++ - Arm Compute Library - Canny Edge 从导入的 opencv 图像返回不可用的数据

Question

我正在使用 arm 计算库 link将 opencv 应用程序转换为更高效的代码库。

我想从 opencv mat 导入数据，我已经通过 this 成功完成了.

arm_compute::Image matACL;
matACL.allocator()->init(arm_compute::TensorInfo(mat.cols, mat.rows, arm_compute::Format::U8)); // Initialise tensor's dimensions
matACL.allocator()->import_memory(arm_compute::Memory(mat.data)); //Allocate the image without any padding.

//matACL.allocator()->import_memory(arm_compute::Memory(new cvMatData(mat.data)));

注意 18.05 及更高版本的 ACL 需要一个已实现的内存接口(interface)，我已经创建了一个 gist为了。就是上面的注释行。

我可以对图像运行不同的操作(例如阈值或高斯)，我可以在 opencv 窗口中看到正确的输出，但是每当我使用 canny 边缘检测器时，我都会得到一个困惑的输出图像。我已经发布了 github前一段时间，但他们也找不到解决方案。

我已经像在 NECannyEdge.cpp 文件中那样实现了 canny edge neon，以便更好地理解正在发生的事情。我将结果数据复制到 opencv Mat 中，并像那样保留指向它的指针。

这就是我将结果转换回 OpenCV Mat 的方式:

ptr = (unsigned char*)malloc(mat.cols*mat.rows*sizeof(unsigned char));

for(unsigned int z = 0 ; z < 0 ; ++z)
{
    for (unsigned int y = 0; y < mat.rows; ++y)
    {
        memcpy(ptr + z * (mat.cols * mat.rows) + y * mat.cols, matACL.buffer() +
        matACL.info()->offset_element_in_bytes(Coordinates(0, y, z)), mat.cols * 
        sizeof(unsigned char));
    }
}

还有一个选择:

Window output_window;
output_window.use_tensor_dimensions(shape, Window::DimY);
Iterator output_it(&matACL, output_window);
execute_window_loop(output_window,
[&](const Coordinates & id)
{
    memcpy(ptr + id.z() * (mat.cols * mat.rows) + id.y() * mat.cols, output_it.ptr(), mat.cols * sizeof(unsigned char));
}, output_it);

图像有时会显示正确的精明边缘结果，但大多数时候它会显示随机的可能未完成的数据。

我检查了它是否可能是竞争条件，但实现应该是单线程的，我无法弄清楚问题出在哪里。有人有想法吗？

我如何才能成功地将来自 opencv 图像的数据用于 arm 计算库的 canny 边缘检测器？也许我在导入过程中遗漏了一些步骤？

谢谢，问候

Answer 1

我发现了我出错的地方并开发了这个函数，它从 ACL 图像创建一个 OpenCV 垫:

void ACLImageToMat(arm_compute::Image &aCLImage, cv::Mat &cVImage, std::unique_ptr<uint8_t[]> &cVImageDataPtr)
{
    size_t width  = aCLImage.info()->valid_region().shape.x();
    size_t height = aCLImage.info()->valid_region().shape.y();

    cVImageDataPtr = std::make_unique < uint8_t[]>(width*height);
    auto ptr_src = aCLImage.buffer();


    arm_compute::Window input_window;
    input_window.use_tensor_dimensions(aCLImage.info()->tensor_shape());
    arm_compute::Iterator input_it(&aCLImage, input_window);
    int counter = 0;
    arm_compute::execute_window_loop(input_window,
        [&](const arm_compute::Coordinates & id)
        {
            *reinterpret_cast<uint8_t *>(cVImageDataPtr.get() + counter++) = ptr_src[aCLImage.info()->offset_element_in_bytes(id)];
        },
        input_it);


    cVImage = cv::Mat(cVImage.rows, cVImage.cols, CV_8UC1, cVImageDataPtr.get());
}

为了对 Canny 进行初始化，我执行了以下操作:

    arm_compute::Image matACL;
    matACL.allocator()->init(arm_compute::TensorInfo(eye.cols, eye.rows, arm_compute::Format::U8));
    matACL.allocator()->import_memory(arm_compute::Memory(eye.data));

    arm_compute::Image matACLCanny;
    matACLCanny.allocator()->init(arm_compute::TensorInfo(eye.cols, eye.rows, arm_compute::Format::U8));

    arm_compute::NECannyEdge canny {};
    canny.configure(&matACL, &matACLCanny, 300, 150, 3, 1, arm_compute::BorderMode::REPLICATE);

    matACLCanny.allocator()->allocate();

    canny.run();

重要的是在配置 canny 边缘检测器之后调用输出图像的 allocate 函数。我不久前在 ACL 文档的某个地方找到了这个，但我不记得确切的位置。

我希望这对偶然发现在 ACL 和 OpenCV 之间转换图像的人有所帮助!