data-mining - sharkscope或PTR数据究竟如何挖掘所有这些手？

Question

我很好奇这个过程是如何工作的。这些站点（http://www.sharkscope.com和http://www.pokertableratings.com）每天从安全的扑克网络（如PokerStars和Full Tilt）中挖掘数千手。

他们是否拥有运行应用程序的服务器场，这些应用程序会打开数百个表（窗口），然后以某种方式爬网/挖矿正在玩的手？

在编程方面如何工作？

Answer 1

有一些选择。我一直在研究它，因为我想在我正在开发的Web应用程序中实现其中一些功能。例如，我将使用PokerStars，因为到目前为止，它们具有任何在线扑克站点中最好的安全性。

首先，要意识到开发人员无法从PokerStars应用程序本身中获取实时信息。您无法访问API。但是，您可以执行以下操作：

屏幕抓取/ OCR

PokerStars竭尽全力破坏其应用程序的屏幕/文本抓取（通过做诸如像素级颜色波动之类的简单事情），但是只要有足够的动力，您就可以轻松地解决此问题。 Google AutoHotkey与ImageSearch结合使用。

API访问和XML提要

扑克之星不提供对其API的公共访问。但是，它确实为经过预先批准的开发人员提供了XML提要。此XML feed提供：


PokerStars站点摘要-显示玩家，牌桌和锦标赛数
PokerStars当前锦标赛数据-包含有关即将举行和正在进行的锦标赛的信息的文件。数据在两个文件中提供：


PokerStars静态锦标赛数据-提供不经常更改的锦标赛信息，以及
PokerStars动态锦标赛数据-提供经常变化的锦标赛信息

PokerStars锦标赛结果-提供有关已完成锦标赛的信息。数据在两个文件中提供：


PokerStars锦标赛结果–提供有关已完成锦标赛的基本信息，以及
PokerStars锦标赛扩展结果–提供有关已完成锦标赛的扩展信息。

扑克之星锦标赛领导者委员会-提供有关使用扑克之星锦标赛排名系统排名的顶级扑克之星玩家的信息
扑克之星锦标赛领导者委员会BOP-提供有关使用扑克之星行星之战排名系统排名的顶级扑克之星玩家的信息
PokerStars团队–提供有关PokerStars团队玩家及其在线活动的信息


这些站点极不可能访问XML feed（或经过改进的XML feed，可以提供他们所需的所有功能），因为大多数这些站点对PokerStars都不是很满意。

剩下两个选择。刮掉上述数据的网络连接，我认为这是不可能的（我没有经验，所以我不确定；我听说过它是高度加密的，不容易修改，但是我不确定），以及上述的屏幕抓取/ OCR。

选项2很容易实现，并且通过一些工作可以避免检测。据我所知，这是他们进行如此庞大的PokerStars数据挖掘的唯一方式（我没有研究其他站点，但是我听说除PokerStars / Full Tilt之外的任何事物都非常安全。 ）。

[编辑]
重读您的问题，然后意识到我并没有明确回答。

是的，他们可能有大量的服务器正在运行，以监视当前正在运行的所有表格，锦标赛等。意识到他们在做的事情中有很多钱。

例如，这可能是他们的操作方式（推测）：

所述机器人应用程序监视表格并数据挖掘所有“发布”到聊天日志的信息。为此，他们已经有了一张对应于所有字母的图像表（因为PokerStars不会将其文本发布为...文本。其软件中的所有文本实际上都是图像）。因此，该机器人随后将聊天记录的图像撕裂，与商店进行匹配，将数据转换为他们可以使用的格式，然后将其扔入数据库中。做完了

[编辑]
不，数据不是由扑克网站本身出售的。如果它出来了，那将是公关的噩梦。而且，这并不能说明这些网站的功能是瞬时的。 OPR，Sharkscope等。毫无疑问，正在运行的应用程序正在从扑克软件中实时提取数据，很可能使用了我列出的方法。