c# - 基于原生OpenCV的unity上的Android应用

Question

我有个小疑惑，希望你能解决。

我想统一创建一个 android 应用程序。该应用程序包括激活设备的相机并在屏幕上查看它。为此，我想基于一个基于 OpenCV 的原生 C++ 代码。

我有生成的代码，但是当我运行应用程序时，我看到的是场景而不是图像，我感觉是因为 OpenCV 的 VideoCapture 功能我在 android 上使用得不好。你能帮我附上代码吗:

C++:

__declspec(dllexport) void iniciar(int& widt, int& heigh) {
camera.open(0);
if (!camera.isOpened())
{
    return;
}
widt = (int)camera.get(CV_CAP_PROP_FRAME_WIDTH);
heigh = (int)camera.get(CV_CAP_PROP_FRAME_HEIGHT);
trueRect.x = 5;
trueRect.y = 5;
trueRect.width = 100;
trueRect.height = 100;
midX = 1;
midY = 1;
wi = 0;
he = 0;
}


__declspec(dllexport)
void video(unsigned char* arr) {
Mat frame;
Mat resi;
Mat dst;//dst image
camera >> frame;
if (frame.empty()) {
    return;
}
flip(frame, dst,1);
//resize(dst, resi, Size(width, height));
cv::cvtColor(dst, dst, COLOR_BGR2RGB);
copy(dst.datastart, dst.dataend, arr);
}

C#:

public class camara : MonoBehaviour {

[DllImport("NativoPrincipio")]
public static extern void video(byte[] img);

[DllImport("NativoPrincipio")]
public static extern void iniciar(ref int widt, ref int heigh);

WebCamTexture back;
Texture2D textura;
byte[] imgData;
int width = 0;
int height = 0;


// Use this for initialization
void Start () {
    back = new WebCamTexture();
    //GetComponent<Renderer>().material.mainTexture = back;
    //back.Play();
    iniciar(ref width, ref height);
}

// Update is called once per frame
void Update ()
{
    imgData = new byte[width * height * 4];
    video(imgData);
    textura = new Texture2D(width, height, TextureFormat.RGB24, false);
    textura.LoadRawTextureData(imgData);
    textura.Apply();
    GetComponent<Renderer>().material.mainTexture = textura;
    imgData = null;
    textura = null;

}}

Answer 1

如果您已将整个代码托管在 GitHub 上，或者如果您可以创建一个要点可能会更好。

但是，我认为你的相机框架是空的。

我将尝试列举为什么会发生这种情况。

• 首先，opencv 视频采集类 camera.open(0) 没有 ffmpeg 就无法工作(对于 android Native 来说不容易交叉编译)。

  • 如果你想在 android 中使用 c++ 中的原生相机，你需要使用带有 api 24 的最新 ndk。

• 我看到您正在使用 Unity 中的 WebCamTexture 类，但这个抓取的纹理很可能是空的，因此您会在图像中看到黑屏。

您是否尝试为 opencv 搜索 unity 插件？我唯一看到的是这个(不是免费的): https://www.assetstore.unity3d.com/en/#!/content/21088

如果这不起作用，你有什么办法可以为 unity 项目粘贴 java 代码吗？因为在 Java 中进行相机捕获要容易得多。希望这些线索对你有所帮助。

Ondo izan eta animo。

乌奈。