c# - 在 MSPaint 中模拟鼠标点击

Question

我有一个控制台应用程序，它应该在 MSPaint 中绘制随机图片(按下鼠标 -> 让光标随机绘制某些东西 -> 鼠标向上。这就是我到目前为止所拥有的(我在 Main 更好地理解我想要实现的目标的方法):

[DllImport("user32.dll", CallingConvention = CallingConvention.StdCall)]
public static extern void mouse_event(long dwFlags, uint dx, uint dy, long cButtons, long dwExtraInfo);
private const int MOUSEEVENTF_LEFTDOWN = 0x201;
private const int MOUSEEVENTF_LEFTUP = 0x202;
private const uint MK_LBUTTON = 0x0001;

public delegate bool EnumWindowsProc(IntPtr hWnd, IntPtr parameter);

[DllImport("user32.dll", SetLastError = true)]
static extern IntPtr FindWindow(string lpClassName, string lpWindowName);

[DllImport("user32.dll", SetLastError = true)]
public static extern IntPtr FindWindowEx(IntPtr parentHandle, IntPtr childAfter, string className, string windowTitle);

[DllImport("user32.dll", CharSet = CharSet.Auto)]
static extern IntPtr SendMessage(IntPtr hWnd, UInt32 Msg, IntPtr wParam, IntPtr lParam);

[DllImport("user32.dll", SetLastError = true)]
public static extern bool EnumChildWindows(IntPtr hwndParent, EnumWindowsProc lpEnumFunc, IntPtr lParam);

static IntPtr childWindow;

private static bool EnumWindow(IntPtr handle, IntPtr pointer)
{
    childWindow = handle;
    return false;
}

public static void Main(string[] args)
{
    OpenPaint(); // Method that opens MSPaint
    IntPtr hwndMain = FindWindow("mspaint", null);
    IntPtr hwndView = FindWindowEx(hwndMain, IntPtr.Zero, "MSPaintView", null);
    // Getting the child windows of MSPaintView because it seems that the class name of the child isn't constant
    EnumChildWindows(hwndView, new EnumWindowsProc(EnumWindow), IntPtr.Zero);
    Random random = new Random();
    Thread.Sleep(500);

    // Simulate a left click without releasing it
    SendMessage(childWindow, MOUSEEVENTF_LEFTDOWN, new IntPtr(MK_LBUTTON), CreateLParam(random.Next(10, 930), random.Next(150, 880)));
    for (int counter = 0; counter < 50; counter++)
    {
        // Change the cursor position to a random point in the paint area
        Cursor.Position = new Point(random.Next(10, 930), random.Next(150, 880));
        Thread.Sleep(100);
    }
    // Release the left click
    SendMessage(childWindow, MOUSEEVENTF_LEFTUP, new IntPtr(MK_LBUTTON), CreateLParam(random.Next(10, 930), random.Next(150, 880)));
}

我从 here 得到了点击模拟的代码.

点击被模拟，但它不绘制任何东西。似乎点击在 MSPaint 中不起作用。光标变为 MSPaint 的“十字”，但正如我提到的...点击似乎不起作用。

FindWindow 将 hwndMain 的值设置为值 0。将参数 mspaint 更改为 MSPaintApp 不会改变任何东西。 hwndMain 的值保持为 0。

如果有帮助，这是我的 OpenPaint() 方法:

private static void OpenPaint()
{
    Process.process = new Process();
    process.StartInfo.FileName = "mspaint.exe";
    process.StartInfo.WindowStyle = "ProcessWindowStyle.Maximized;
    process.Start();
}

我做错了什么？

Answer 1

IntPtr hwndMain = FindWindow("mspaint", null);

这还不够好。 pinvoke 代码中的常见错误，C# 程序员倾向于完全依赖异常以跳出屏幕并打他们的脸告诉他们出了什么问题。 .NET Framework 在这方面做得非常好。但是，当您使用基于 C 语言的 api(如 winapi)时，它的工作方式不是一样的。 C 是一种恐龙语言，根本不支持异常。它仍然没有。只有在 pinvoke 管道失败时才会出现异常，通常是因为 [DllImport] 声明错误或缺少 DLL。函数执行成功不说话，返回失败返回码。

这确实使检测和报告故障完全是您自己的工作。只需转到 MSDN documentation ，它总是告诉您 winapi 函数如何指示事故。不完全一致，因此您必须查看，在这种情况下，当找不到窗口时 FindWindow 返回 null。所以总是这样编码:

IntPtr hwndMain = FindWindow("mspaint", null);
if (hwndMain == IntPtr.Zero) throw new System.ComponentModel.Win32Exception();

对所有其他 pinvoke 也执行此操作。现在您可以取得进展，您将可靠地获得异常，而不是继续处理不良数据。与不良数据经常发生的情况一样，这还不够糟糕。 NULL 实际上是一个有效的窗口句柄，操作系统会假定您指的是桌面窗口。哎哟。您正在自动化完全错误的流程。

---

理解为什么 FindWindow() 失败确实需要一点洞察力，它不是很直观，但良好的错误报告对于实现这一点至关重要。 Process.Start() 方法仅确保程序启动，它不会以任何方式等待进程完成初始化。在这种情况下，它不会等到它创建了主窗口。所以 FindWindow() 调用执行大约，哦，太早了几十毫秒。令人费解的是，当您调试和单步执行代码时它工作得很好。

也许您认识到这种事故，它是一个线程竞争错误。最卑鄙的编程错误。臭名昭著的是不会始终如一地导致故障并且很难调试，因为竞争取决于时间。

希望您意识到已接受答案中提出的解决方案也不够好。任意添加 Thread.Sleep(500) 只会提高您现在在调用 FindWindow() 之前等待足够长的时间的可能性。但是你怎么知道 500 就足够了？它总是足够好吗？

没有。 Thread.Sleep() 绝不 是线程竞争错误的正确解决方案。如果用户的机器运行缓慢或负载过重且可用的未映射 RAM 不足，则几毫秒会变成几秒。您必须处理最坏的情况，这确实是最糟糕的情况，通常只有约 10 秒是机器开始抖动时您需要考虑的最短时间。这变得非常不切实际。

将此可靠地 互锁是一种普遍的需求，以至于操作系统对其进行了启发式处理。需要启发式而不是对同步对象的 WaitOne() 调用，因为进程本身根本不合作。当 GUI 程序开始请求通知时，您通常可以假设它已经取得了足够的进展。 Windows 白话中的“泵送消息循环”。该启发式方法也进入了 Process 类。修复:

private static void OpenPaint()
{
    Process.process = new Process();
    process.StartInfo.FileName = "mspaint.exe";
    process.StartInfo.WindowStyle = "ProcessWindowStyle.Maximized;
    process.Start();
    process.WaitForInputIdle();          // <=== NOTE: added
}

如果我没有指出您应该为此使用内置的 api，那我就是失职了。称为 UI 自动化，巧妙地包装在 System.Windows.Automation 命名空间中。处理所有那些讨厌的小细节，比如线程竞争和将错误代码转化为良好的异常。最相关的教程是 probably here .