java - 我可以使用TextureView同时显示相机预览和检测到的线吗？

Question

我想显示我实时检测到的相机和线条(使用 i.MX6 和 Android 4.4)。我使用Android相机.addCallbackBuffer来获取帧并使用TextureView来显示相机预览。

JNI (C++):获取帧缓冲区->将 byte[] 转换为 Mat->然后使用 OpenCV 进行图像处理

JNI 可以返回已经在其上绘制线条的 Mat(use .getNativeObjAddr()) 或返回两个坐标，即线条的起点和终点

这段代码在 JNI 中新建了 Mat，希望只返回两个坐标。如果此方法不起作用，我将在 JAVA 中 new Mat 并将 .getNativeObjAddr() 发送到 JNI，然后返回 Mat。在TextureView中显示Mat？

问题:如何使用TextureView同时显示相机预览和检测到的线？

在MainActivity.java中

public class MainActivity extends Activity implements TextureView.SurfaceTextureListener, PreviewCallback {
protected Camera mCamera;
private TextureView mTextureView;
public byte[][] cameraBuffer;

@Override
protected void onCreate(Bundle savedInstanceState) {
    super.onCreate(savedInstanceState);
    this.requestWindowFeature(Window.FEATURE_NO_TITLE);
    setContentView(R.layout.activity_main);

    mTextureView = new TextureView(this);
    mTextureView.setSurfaceTextureListener(this);
    setContentView(mTextureView);
}
....
@Override
public void onSurfaceTextureAvailable(SurfaceTexture surface, int width, int height) {
    mCamera = Camera.open(0);
    int bufferSize = mCamera.getParameters().getPictureSize().width * mCamera.getParameters().getPictureSize().height
            * ImageFormat.getBitsPerPixel(mCamera.getParameters().getPreviewFormat()) / 8;
    cameraBuffer = new byte[3][bufferSize];

    thread = new getFrameThread( this, kCameraWidth, kCameraHeight);
    for (int i = 0; i < 3; ++i)
        mCamera.addCallbackBuffer(cameraBuffer[i]);

    mCamera.setPreviewCallbackWithBuffer(this);             
    thread.start();

    if (mCamera == null) {
        throw new RuntimeException("Default camera not available");
    }
    try {
        mCamera.setPreviewTexture(surface);
        mCamera.startPreview();
    } catch (IOException ioe) {
        // Something bad happened
    }
}

@Override
public void onPreviewFrame(byte[] data, Camera camera) {
    // TODO Auto-generated method stub
    camera.addCallbackBuffer(data);//callback data to cameraBuffer
    thread.refresh(data, countFrame);//send new frame data to JNI
}
....
static {
    System.loadLibrary("opencv_java"); //load opencv_java lib
    System.loadLibrary("testLib");
}
public native void getRawFrame(byte[] data,int width, int height, int count);

}

在 getFrameThread(运行 JNI 函数“getRawFrame”的线程)

public class getFrameThread extends Thread{
  public byte[] data;
  {
  .....
  mainActivity.getRawFrame(data, 480, 720);
  .....
  }

  public void refresh(byte[] data, int countFrame){
      this.data = data;
  }
}

在 JNI 中

#include <jni.h>
#include <stdio.h>
#include <stdlib.h>

#include <opencv2/opencv.hpp>
using namespace cv;

extern"C"
{
.....
JNIEXPORT void JNICALL Java_com_example_adas_MainActivity_getRawFrame( JNIEnv* env, jobject thisobject,
    jbyteArray data, jint width, jint height){

  int length = env->GetArrayLength(data);
  unsigned char *bufferIn = (unsigned char*) env->GetPrimitiveArrayCritical(data, NULL);

  yuvMat = Mat(height  * 3/2, width, CV_8UC1, bufferIn);
  cvtColor(yuvMat, grayMat, cv::COLOR_YUV2GRAY_I420);


  //Do lines detected
  .....
  env->ReleasePrimitiveArrayCritical(data, bufferIn, JNI_ABORT);
}

Answer 1

您可以使用 ImageView 覆盖相机实时TextureView，让该图像部分透明是可以的。但这对于增强现实来说并不是一个好的解决方案。原因是OpenCV生成的内容存在延迟。这种延迟可能不是很显着，但对用户来说可能会很烦人。

如果隐藏实时相机流并显示由 OpenCV 处理更改的图像(来自 onPreviewFrame())，结果会好得多。屏幕上显示的 AR 会延迟一些毫秒(与相机实时取景相比)，但场景将与检测到的线条保持一致。我在这个 blog post 中找到了一个很好的例子(和详细的编程说明) .

您仍然需要TextureView，因为Android Camera API要求您有实时预览来接收onPreviewFrame()回调。要隐藏它，您可以将其与其他一些 View 重叠，或者在 OpenGL 级别上操作纹理。

您还可以使用OpenGL来显示OpenCV的结果:通常这种工作流程的性能比使用其他方式显示图像要好得多。

您还可以使用 OpenGL 绘制线条 - OpenCV 处理的结果 - 不以位图的形式，并使用相机预览作为单独的纹理。