cocoa - OSX 上的高分辨率和高帧率鼠标坐标？ (或者其他解决方案？)

Question

我希望在 OSX 上获得高分辨率和高帧速率的鼠标移动。

“高帧率”= 60 fps 或更高(最好 > 120)
“高分辨率”=子像素值

问题
我有一个 opengl View 以大约显示器刷新率运行，因此约为 60 fps。我使用鼠标环顾四周，因此隐藏了鼠标光标并依赖于鼠标增量值。

问题是鼠标事件的帧速率太低，并且值被捕捉到整数(整个像素)。这会导致“不稳定”的观看体验。以下是鼠标增量值随时间变化的可视化:

    mouse delta X
    ^                xx
  2 |      x    x x     x xx
    | x x x   x             xx x  x x
  0 |x-x-x--xx-x-x-xx--x-x----x-xx-x-----> frame
    |
-2  |
    v

这是一条典型的(缩短的)曲线，由用户将鼠标稍微向右移动而创建。每个 x 代表每个帧的 deltaX 值，并且由于 deltaX 值四舍五入为整数，因此该图实际上相当准确。正如我们所看到的，deltaX 值在一帧中将为 0.000，然后下一帧为 1.000，但随后它将再次为 0.000，然后为 2.000，然后再次为 0.000，然后为 3.000、0.000，依此类推。

这意味着 View 将在一帧中旋转 2.000 单位，然后在下一帧中旋转 0.000 单位，然后旋转 3.000 单位。当鼠标以或多或少恒定的速度拖动时会发生这种情况。不用说，这看起来很糟糕。

那么，我该如何 1) 提高鼠标的事件帧率？ 2)获取子像素值？

到目前为止
我尝试过以下方法:

- (void)mouseMoved:(NSEvent *)theEvent {
    CGFloat dx, dy;
    dx = [theEvent deltaX];
    dy = [theEvent deltaY];
    // ...
    actOnMouse(dx,dy);
}

嗯，这一点很明显。 dx这里是 float ，但值总是四舍五入(0.000、1.000 等)。这将创建上面的图表。

所以我想下一步是在鼠标事件进入 WindowServer 之前尝试点击鼠标事件。所以我创建了一个 CGEventTrap:

eventMask = (1 << kCGEventMouseMoved);
eventTap = CGEventTapCreate(kCGHIDEventTap, kCGHeadInsertEventTap,
            0, eventMask, myCGEventCallback, NULL);
//...
myCGEventCallback(...){
    double dx = CGEventGetDoubleValueField(event, kCGMouseEventDeltaX);
    double dy = CGEventGetDoubleValueField(event, kCGMouseEventDeltaY);
}

仍然值为 n.000 ，尽管我相信事件触发率要高一些。但它仍然没有达到 60 fps。我仍然得到上面的图表。

我还尝试过将鼠标灵敏度设置得非常高，然后在我这边缩小这些值。但似乎 OSX 增加了某种加速或其他东西——这些值变得非常“不稳定”，因此无法使用，而且射速仍然太低。

不幸的是，我开始追踪鼠标事件，最终到达了 IOKit。这对我来说很可怕。这是疯帽子。苹果文档变得很奇怪，似乎在说“如果你这么深入，你真正需要的只是头文件”。

所以我一直在阅读头文件。我还发现了一些有趣的花絮。

在 <IOKit/hidsystem/IOLLEvent.h>第 377 行有这个结构:

struct {    /* For mouse-down and mouse-up events */
    UInt8   subx;       /* sub-pixel position for x */
    UInt8   suby;       /* sub-pixel position for y */
    // ...
} mouse;

看，它说的是子像素位置!好的。然后在<IOKit/hidsystem/IOLLParameter.h>中的第73行

#define kIOHIDPointerResolutionKey      "HIDPointerResolution"

嗯。

总而言之，我感觉 OSX 深入了解子像素鼠标坐标，并且必须有一种方法来读取每一帧的原始鼠标移动，但我只是不知道如何获取这些值.

问题
呃，那么，我在要求什么呢？

• 有没有办法在 OSX 中获取高帧率鼠标事件？ (示例代码？)
• 有没有办法在 OSX 中获取子像素鼠标坐标？ (示例代码？)
• 有没有办法读取每帧的“原始”鼠标增量？ (即不依赖于事件。)
• 或者，如何获取 NXEvents 或设置 HIDParameters？示例代码？ (所以我可以自己更深入地研究这个......)

(抱歉，帖子太长)

Answer 1

(这是一个很晚的答案，但我认为对于其他偶然发现这一问题的人来说仍然有用。)

您是否尝试过过滤鼠标输入？这可能很棘手，因为过滤往往是滞后和精度之间的权衡。然而，几年前我写了一篇文章，解释了我如何过滤鼠标移动，并为游戏开发网站写了一篇文章。链接为http://www.flipcode.com/archives/Smooth_Mouse_Filtering.shtml .

由于该网站不再处于积极开发状态(并且可能会消失)，因此以下是相关摘录:

<小时/>

几乎在所有情况下，过滤都意味着平均。然而，如果我们简单地平均鼠标移动随时间的变化，我们就会引入滞后。那么，我们如何在不引入任何副作用的情况下进行过滤呢？好吧，我们仍然会使用平均，但我们会用一些智能来做到这一点。同时，我们将为用户提供对过滤的精细控制，以便他们可以自行调整。

我们将使用随时间变化的平均鼠标输入的非线性过滤器，其中旧值对过滤结果的影响较小。

它是如何工作的

每一帧，无论您是否移动鼠标，我们都会将当前鼠标移动放入历史缓冲区并删除最旧的历史值。因此，我们的历史记录始终包含 X 个样本，其中 X 是“历史缓冲区大小”，代表一段时间内最近采样的鼠标移动。

如果我们使用历史缓冲区大小 10 以及整个缓冲区的标准平均值，则过滤器会引入大量滞后。在 60FPS 的机器上，快速的鼠标移动将落后 1/6 秒。在快速 Action 游戏中，这会非常流畅，但实际上无法使用。在相同的场景中，历史缓冲区大小为 2 会给我们带来非常小的延迟，但过滤效果非常差(玩家 react 粗糙且不稳定。)

非线性滤波器旨在对抗这种互斥的情况。这个想法很简单。我们不是盲目地对历史缓冲区中的所有值进行平均，而是用权重对它们进行平均。我们从权重 1.0 开始。因此历史缓冲区中的第一个值(当前帧的鼠标输入)具有完整的权重。然后，我们将此权重乘以“权重修正值”(例如...0.2)，然后移至历史缓冲区中的下一个值。我们走得越远(通过我们的历史缓冲区)，这些值对最终结果的权重(影响)就越小。

详细来说，权重修改值为 0.5 时，当前帧的样本将具有 100% 的权重，前一个样本将具有 50% 的权重，下一个最旧的样本将具有 25% 的权重，下一个样本将具有 12.5% 的权重，很快。如果将其绘制成图表，它看起来像一条曲线。因此，权重修改器背后的想法是控制随着历史样本变老，曲线下降的急剧程度。

减少延迟意味着减少权重调节器。将权重调节器减少到 0 将为用户提供原始的、未经过滤的反馈。将其增加到 1.0 将使结果成为历史缓冲区中所有值的简单平均值。

我们将为用户提供两个用于精细控制的变量:历史缓冲区大小和权重修改器。我倾向于使用大小为 10 的历史缓冲区，然后使用权重修改器，直到我满意为止。