android - 使用 OpenCV 在 Android 上使用神经网络进行灰度图像分类

Question

我正在开发一款可以将纸上数字数字化的 Android 应用程序。我使用 native OpenCV 代码来查找图像上的数字。之后我想使用 OpenCV 的 dnn 模块来识别数字。可以在此处找到有关创建神经网络的不错教程:
https://www.youtube.com/watch?v=kFWKdLOxykE
mnist_convnet_graph.pbtxt 以此开头:

node {
  name: "conv2d_1_input"
  op: "Placeholder"
  attr {
    key: "dtype"
    value {
    type: DT_FLOAT
  }
  }
  attr {
    key: "shape"
    value {
      shape {
        dim {
          size: -1
        }
        dim {
          size: 28
        }
        dim {
          size: 28
        }
        dim {
          size: 1
        }
      }
    }
  }
}

所以输入是一张28x28的灰度图。
在本教程中，Java 代码用于使用神经网络。但是，由于速度，我想在 C++ 中使用它。我使用 cv::dnn::Net Dnn.readNetFromTensorflow(String model, String config); 成功加载了模型，并将对象传递到 NDK 端。我使用以下内容为神经网络创建输入:

// The part of the image, we are interested in.
Rect roi(static_cast<int>(w), static_cast<int>(h),
             static_cast<int>(w), static_cast<int>(h));
Mat cropped(image_gray, roi);
// Resize image to 28x28.
Mat resized;
cv::resize(cropped, resized, Size(28,28));

之后，转发应该可以工作了:

const double IN_SCALE_FACTOR = 0.003921; // 1.0/255.0
Mat blob = dnn::blobFromImage(resized, IN_SCALE_FACTOR, Size(28,28));
net.setInput(blob);
Mat detections = net.forward();

其中 net 是传递的 cv::dnn::Net 对象。但是 net.forward() 命令失败并给出:
OpenCV(3.4.5) 错误:虚拟 bool cv::dnn::experimental_dnn_34_v11::DataLayer::getMemoryShapes(const std::vector >&, int, std::vector >&, std::vector >&) const，文件/build/3_4_pack-android/opencv/modules/dnn/src/dnn.cpp，第 681 行

我也试过:

• 裁剪 rgb 图像
• Mat blob = dnn::blobFromImage(resized, 1.0f, Size(28,28));
• 不使用 blobFromImage，而是使用 net.setInput(resized); 代替

但这些都没有导致解决方案。有人对此有解决方案吗？任何建议或想法将不胜感激。

Answer 1

好的，我设法解决了我的问题。

首先，我意识到 .pb和 .pbtxt文件在错误的目录中并得到 2 Failed to upload a file信息日志。

将文件放入正确的目录后，我遇到了问题:
error: (-215:Assertion failed) const_layers.insert(std::make_pair(name, li)).second in function 'void cv::dnn::experimental_dnn_34_v11::{anonymous}::addConstNodes(opencv_tensorflow::GraphDef&, std::map<cv::String, int>&, std::set<cv::String>&)'

作为Dmitry Kurtaev建议here , 我删除了 .pbtxt来自 Dnn.readNetFromTensorflow .之后我得到了错误:
OpenCV(3.4.5) Error: Unspecified error (Can't create layer "flatten_1/Shape" of type "Shape") in cv::Ptr<cv::dnn::experimental_dnn_34_v11::Layer> cv::dnn::experimental_dnn_34_v11::LayerData::getLayerInstance(), file /build/3_4_pack-android/opencv/modules/dnn/src/dnn.cpp, line 513

这使我找到了一个链接，我在 Dmitry Kurtaev 中找到了该链接的评论 here .在对 .pbtxt 进行建议的修改(删除 Const 节点、修改和删除展平节点)后文件，最后我没有出错，并成功运行了神经网络。

注意:添加K.backend.set_learning_phase(0)在创建模型之前，也很有用。