c++ - 来自相机的 Qt 视频帧损坏

Question

编辑:第一个答案解决了我的问题。除此之外，我必须将 ASI_BANDWIDTH_OVERLOAD 值设置为 0。

我正在使用 C++/Qt 5.7 编写一个 Linux 应用程序来跟踪我望远镜中的星星。我使用相机(ZWO ASI 120MM，带有相应的 SDK v0.3)并在单独的线程中的 while 循环中抓取它的帧。然后将这些发送到 QOpenGlWidget 进行显示。我有以下问题:当鼠标在 QOpenGlWidget 区域内时，显示的帧会损坏。尤其是鼠标移动的时候。当我使用 50 毫秒的曝光时间并在较短的曝光时间时消失时，问题最严重。当我从磁盘向管道提供交替图像时，问题就消失了。我认为这是相机线程和主线程之间的某种线程同步问题，但我无法解决。同样的问题出现在openastro软件中。以下是部分代码:

主窗口:

MainWindow::MainWindow(QWidget *parent) : QMainWindow(parent){

mutex = new QMutex;
camThread = new QThread(this);
camera = new Camera(nullptr, mutex);
display = new GLViewer(this, mutex);

setCentralWidget(display);

cameraHandle = camera->getHandle();

connect(camThread, SIGNAL(started()), camera, SLOT(connect()));
connect(camera, SIGNAL(exposureCompleted(const QImage)), display, SLOT(showImage(const QImage)), Qt::BlockingQueuedConnection );

camera->moveToThread(camThread);
camThread->start();
}

抓取帧的例程:

void Camera::captureFrame(){
    while( cameraIsReady && capturing ){
        mutex->lock();
        error = ASIGetVideoData(camID, buffer, bufferSize, int(exposure*2*1e-3)+500);
        if(error == ASI_SUCCESS){
            frame = QImage(buffer,width,height,QImage::Format_Indexed8).convertToFormat(QImage::Format_RGB32); //Indexed8 is for 8bit 
            mutex->unlock();
            emit exposureCompleted(frame);
        }
        else {
            cameraStream << "timeout" << endl;
            mutex->unlock();
        }
    }
}

接收图片的slot:

bool GLViewer::showImage(const QImage image)
{
    mutex->lock();
    mOrigImage = image;
    mRenderQtImg = mOrigImage;

    recalculatePosition();

    updateScene();

    mutex->unlock();
    return true;
}

以及设置图像的GL函数:

void GLViewer::renderImage()
{
    makeCurrent();
    glClear(GL_COLOR_BUFFER_BIT);

    if (!mRenderQtImg.isNull())
    {
        glLoadIdentity();
        glPushMatrix();
        {
            if (mResizedImg.width() <= 0)
            {
                if (mRenderWidth == mRenderQtImg.width() && mRenderHeight == mRenderQtImg.height())
                    mResizedImg = mRenderQtImg;
                else
                    mResizedImg = mRenderQtImg.scaled(QSize(mRenderWidth, mRenderHeight),
                                                      Qt::IgnoreAspectRatio,
                                                      Qt::SmoothTransformation);
            }
            glRasterPos2i(mRenderPosX, mRenderPosY);
            glPixelZoom(1, -1);
            glDrawPixels(mResizedImg.width(), mResizedImg.height(), GL_RGBA, GL_UNSIGNED_BYTE, mResizedImg.bits());
        }
        glPopMatrix();
        glFlush();
    }
}

我从这里偷了这段代码:https://github.com/Myzhar/QtOpenCVViewerGl

最后，这是我的问题:

This looks awful.

Answer 1

图像制作者应该产生新图像并通过信号发出它们。由于 QImage 是隐式共享的，它会自动回收帧以避免新的分配。只有当生产者线程超过显示线程时，才会制作图像拷贝。

您可以使用零持续时间计时器运行捕获，并让事件循环调用它，而不是在 Camera 对象中使用显式循环。这样相机对象就可以处理事件，例如计时器、跨线程插槽调用等。

不需要显式互斥锁，也不需要阻塞连接。 Qt 的事件循环提供了跨线程同步。最后，QtOpenCVViewerGl 项目在 CPU 上执行图像缩放，这确实是一个如何不执行此操作的示例。您可以通过在四边形上绘制图像来免费缩放图像，尽管这也是固定管道时代以来的过时技术 - 但它工作得很好。

ASICamera 类大致如下所示:

// https://github.com/KubaO/stackoverflown/tree/master/questions/asi-astro-cam-39968889
#include <QtOpenGL>
#include <QOpenGLFunctions_2_0>
#include "ASICamera2.h"

class ASICamera : public QObject {
   Q_OBJECT
   ASI_ERROR_CODE m_error;
   ASI_CAMERA_INFO m_info;
   QImage m_frame{640, 480, QImage::Format_RGB888};
   QTimer m_timer{this};
   int m_exposure_ms = 0;
   inline int id() const { return m_info.CameraID; }
   void capture() {
      m_error = ASIGetVideoData(id(), m_frame.bits(), m_frame.byteCount(),
                                 m_exposure_ms*2 + 500);
      if (m_error == ASI_SUCCESS)
         emit newFrame(m_frame);
      else
         qDebug() << "capture error" << m_error;
   }
public:
   explicit ASICamera(QObject * parent = nullptr) : QObject{parent} {
      connect(&m_timer, &QTimer::timeout, this, &ASICamera::capture);
   }
   ASI_ERROR_CODE error() const { return m_error; }
   bool open(int index) {
      m_error = ASIGetCameraProperty(&m_info, index);
      if (m_error != ASI_SUCCESS)
         return false;
      m_error = ASIOpenCamera(id());
      if (m_error != ASI_SUCCESS)
         return false;
      m_error = ASIInitCamera(id());
      if (m_error != ASI_SUCCESS)
         return false;
      m_error = ASISetROIFormat(id(), m_frame.width(), m_frame.height(), 1, ASI_IMG_RGB24);
      if (m_error != ASI_SUCCESS)
         return false;
      return true;
   }
   bool close() {
      m_error = ASICloseCamera(id());
      return m_error == ASI_SUCCESS;
   }
   Q_SIGNAL void newFrame(const QImage &);
   QImage frame() const { return m_frame; }
   Q_SLOT bool start() {
      m_error = ASIStartVideoCapture(id());
      if (m_error == ASI_SUCCESS)
         m_timer.start(0);
      return m_error == ASI_SUCCESS;
   }
   Q_SLOT bool stop() {
      m_error = ASIStopVideoCapture(id());
      return m_error == ASI_SUCCESS;
      m_timer.stop();
   }
   ~ASICamera() {
      stop();
      close();
   }
};

由于我使用的是虚拟 ASI API 实现，以上内容就足够了。真正的 ASI 相机的代码需要设置适当的控制，例如曝光。

OpenGL 查看器也相当简单:

class GLViewer : public QOpenGLWidget, protected QOpenGLFunctions_2_0 {
   Q_OBJECT
   QImage m_image;
   void ck() {
      for(GLenum err; (err = glGetError()) != GL_NO_ERROR;) qDebug() << "gl error" << err;
   }
   void initializeGL() override {
      initializeOpenGLFunctions();
      glClearColor(0.2f, 0.2f, 0.25f, 1.f);
   }
   void resizeGL(int width, int height) override {
      glViewport(0, 0, width, height);
      glMatrixMode(GL_PROJECTION);
      glLoadIdentity();
      glOrtho(0, width, height, 0, 0, 1);
      glMatrixMode(GL_MODELVIEW);
      update();
   }
   // From http://stackoverflow.com/a/8774580/1329652
   void paintGL() override {
      auto scaled = m_image.size().scaled(this->size(), Qt::KeepAspectRatio);
      GLuint texID;
      glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);
      glGenTextures(1, &texID);
      glEnable(GL_TEXTURE_RECTANGLE);
      glBindTexture(GL_TEXTURE_RECTANGLE, texID);
      glTexImage2D(GL_TEXTURE_RECTANGLE, 0, GL_RGB, m_image.width(), m_image.height(), 0,
                   GL_RGB, GL_UNSIGNED_BYTE, m_image.constBits());

      glBegin(GL_QUADS);
      glTexCoord2f(0, 0);
      glVertex2f(0, 0);
      glTexCoord2f(m_image.width(), 0);
      glVertex2f(scaled.width(), 0);
      glTexCoord2f(m_image.width(), m_image.height());
      glVertex2f(scaled.width(), scaled.height());
      glTexCoord2f(0, m_image.height());
      glVertex2f(0, scaled.height());
      glEnd();
      glDisable(GL_TEXTURE_RECTANGLE);
      glDeleteTextures(1, &texID);
      ck();
   }
public:
   GLViewer(QWidget * parent = nullptr) : QOpenGLWidget{parent} {}
   void setImage(const QImage & image) {
      Q_ASSERT(image.format() == QImage::Format_RGB888);
      m_image = image;
      update();
   }
};

最后，我们将相机和查看器连接在一起。由于相机初始化可能需要一些时间，我们在相机线程中执行。

UI 应该发出控制相机的信号，例如打开它，开始/停止采集等，并有提供相机反馈的槽(例如状态变化)。一个独立的函数将获取两个对象并将它们连接在一起，适本地使用仿函数来使 UI 适应特定的相机。如果适配器代码很长，您可以为此使用辅助程序 QObject，但通常一个函数就足够了(如下所示)。

class Thread : public QThread { public: ~Thread() { quit(); wait(); } };

// See http://stackoverflow.com/q/21646467/1329652
template <typename F>
static void postToThread(F && fun, QObject * obj = qApp) {
   QObject src;
   QObject::connect(&src, &QObject::destroyed, obj, std::forward<F>(fun), 
                    Qt::QueuedConnection);
}

int main(int argc, char ** argv) {
   QApplication app{argc, argv};
   GLViewer viewer;
   viewer.setMinimumSize(200, 200);
   ASICamera camera;
   Thread thread;
   QObject::connect(&camera, &ASICamera::newFrame, &viewer, &GLViewer::setImage);
   QObject::connect(&thread, &QThread::destroyed, [&]{ camera.moveToThread(app.thread()); });
   camera.moveToThread(&thread);
   thread.start();
   postToThread([&]{
      camera.open(0);
      camera.start();
   }, &camera);
   viewer.show();
   return app.exec();
}
#include "main.moc"

GitHub 项目包含一个非常基本的 ASI 相机 API 测试工具并且是完整的:您可以运行它并查看实时呈现的测试视频。