python - 基于 gui 的脚本，与 ajax/http 交互以进行网络抓取/抓取

Question

我正在测试一个 Web 应用程序，该应用程序主要基于 ajax，由 jsp 提供服务。一切都是在应用程序端动态创建/分配的。我正在尝试创建某种必须执行以下操作的爬虫/抓取器:

1. “点击”给定网页上的每个可用按钮、下拉菜单等
2. 对于每个请求，记录客户端/服务器交互是什么
3. 一旦某个网页的所有按钮都被按下(哈？)， 从#2 的第一条记录开始的广度优先搜索
4. 继续，直到所有记录都被交互过一次。

我可以很容易地使用 python 来点击，虽然 python 不是必需的(我知道 Java 有一些可能很容易工作的东西):

def click(x,y):
win32api.SetCursorPos((x,y))
win32api.mouse_event(win32con.MOUSEEVENTF_LEFTDOWN,x,y,0,0)
win32api.mouse_event(win32con.MOUSEEVENTF_LEFTUP,x,y,0,0)

我查了一下fiddler之类的录音软件:http://www.fiddler2.com/fiddler2/

我不知道如何记录交互，但不能更改屏幕。例如在页面 A 上，按钮 B 移动到页面 C，我想单击 B，但停留在 A(这是一个过于简单的情况)

我完全理解广度优先搜索，尽管我不知道如何使用任何脚本/编程语言加载网页(来自 #1)。

那么，有人知道如何记录交互(也许将其保存在队列中以便于 BFS)吗？而且，有人知道如何从某些录音软件加载请求吗？

附带说明一下，完成所有这些所需的时间并不重要，如果需要几个月，那也没关系。

谢谢。

Answer 1

使用像 autoit 这样的工具(它确实有 python 绑定(bind)......)或者我更喜欢的工具叫做 SIKULI(http://sikuli.org/)(它没有 python 绑定(bind)......但它自己的脚本很酷的语言)