c++ - 如何用触摸数据模拟鼠标点击？

Question

我正在开发 Qt5 应用程序以尝试使用来自触摸屏的原始输入数据，因为我的 Linux 内核 (2.6.32) 不完全支持触摸。我为来自 /dev/input/eventX 的原始数据编写了一个解析器，因为即使 X 不支持触​​摸，事件仍然存在。

我能够很好地读取事件，并编写了一个名为“TouchPoint”的包装器，其中包含每个触摸点的 ID 和 (x,y) 坐标，以及一个指示触摸点是否为触摸点的 bool 值当前是“事件的”(即:用户当前将该手指放在屏幕上)。 值得注意的是，我还输出了当前屏幕上的触摸点数，这个值是准确的。

我的问题是我似乎无法弄清楚如何用它准确地模拟鼠标点击。对于 Linux 中的多点触摸事件，当用户将手指按在屏幕上时，每个触摸点都被分配一个“跟踪 ID”，当该点被抬起时，将生成一个事件，将插槽的跟踪 ID 设置为 -1。我使用此 ID 从某个值更改为 -1 来指示触摸点是否“按下”:

void TouchPoint::setID(int nid) {
    if((id == -1) && (nid >= 0)) down = true;
    else if(nid == -1) down = false;
    id = nid;
}

因此，为了尝试模拟鼠标点击，我在读取跟踪 ID 事件时执行此操作:

else if(event.code == ABS_MT_TRACKING_ID) {
    bool before = touchPoints[cSlot].isDown(); // where cSlot is the current slot the events are referring to
    touchPoints[cSlot].setID(event.value);
    bool after = touchPoints[cSlot].isDown();

    if(!before && after) touch(touchPoints[cSlot]);
}

然后触摸方法执行此操作:

void MainWindow::touch(TouchPoint tp) {
    if(ui->touchMe->rect().contains(QPoint(tp.getX(), tp.getY()))) {
        on_touchMe_clicked();
    }
}

按钮不会对我直接触摸它做出响应，但有时如果我在屏幕上疯狂地挥动手指，按下时应该显示的消息框会显示，但当它按下时，我的手指总是在另一个地方的某个地方屏幕区域。

谁能想到我在这里可能做错了什么？我检查触摸点是否在按钮边界内的方法有误吗？或者我跟踪触摸点“向下”状态的逻辑是错误的吗？还是完全不同？

更新:通过输出触摸位置和按钮位置的屏幕坐标，我刚刚注意到两件事。

1. 数字化仪分辨率大于屏幕分辨率，因此我需要缩放来自原始事件的 X 和 Y 坐标。
2. 我的坐标是偏移的，因为它们是屏幕坐标。

更新 2: 我现在已经处理了上次更新中提到的两个问题，但我仍然无法弄清楚如何准确地模拟触摸/鼠标事件以便能够与界面进行交互。我还修改了我的 TouchPoint 类，使其具有一个 bool 标志，指示触摸点是否刚刚更新，当更新跟踪 ID 时设置为 true，并在引发 EV_SYN 事件时重置。这样我就可以在为应用程序创建事件之前获取 X 和 Y 位置事件。我尝试了以下方法:

1. 使用 QApplication 类将鼠标事件发布到具有触摸点位置的 QApplication::desktop()->screen() 小部件。
2. 使用 QTest 类为 QApplication::desktop()->screen() 小部件引发 touchEvent，使用针对给定插槽和触摸点位置的按下和释放方法，然后使用 bool 事件(QEvent* ) 方法来 try catch 事件。我还在主窗口中启用了 WA_AcceptTouchEvents 属性。

这些都不起作用，因为某些原因，当我有 "bool event(QEvent*)" 方法时，线程发出的信号读取 /dev/input/eventX 不会触发主窗口类中的插槽。而且我似乎找不到任何其他方法来完成模拟事件。有人有什么想法吗？

Answer 1

您写道，当您的手指处于“错误的位置”时，有时您的消息框会被“点击”，所以这听起来像是混合了全局屏幕坐标和小部件局部坐标。看起来，在您的 MainWindow::touch 中，您尝试检查全局屏幕坐标中的一个点，例如(530, 815) 位于小部件的几何体内部(在其局部坐标中)。 QWidget::rect()返回按钮(小部件)的内部几何形状，即小部件的宽度和高度的矩形，例如(0、0、60、100)。

您必须将矩形移动到全局屏幕坐标中的正确位置。 QWidget::pos()将小部件本地位置返回给其父级。您可以使用 QWidget::mapToGlobal将小部件坐标位置转换为全局屏幕坐标。然后你的 rect 类似于 (500, 850, 60, 100)，你应该得到一个命中并调用你的插槽。

但是，更好的方法是使用 QApplication::widgetAt获取特定屏幕位置的小部件并为其生成鼠标点击。

您可以通过向其发送鼠标按下和释放来为小部件生成鼠标点击，如下所示:

QPoint screenPos = QPoint(tp.getX(), tp.getY());
QWidget *targetWidget = QApplication::widgetAt(screenPos);

QPoint localPos = targetWidget->mapFromGlobal(screenPos); 
QMouseEvent *eventPress = new QMouseEvent(QEvent::MouseButtonPress, localPos, screenPos, Qt::LeftButton, Qt::LeftButton,  Qt::NoModifier);
QApplication::postEvent(targetWidget, eventPress);
QMouseEvent *eventRelease = new QMouseEvent(QEvent::MouseButtonRelease, localPos, screenPos, Qt::LeftButton, Qt::LeftButton,  Qt::NoModifier);
QApplication::postEvent(targetWidget, eventRelease);