screen-scraping - 重度iTunes Connect抓取

Question

我正在寻找不同的选择，以从iTunes Connect网站获取销售报告和其他数据。由于Apple不提供API，因此我找到的所有解决方案都基于抓取页面。

因为我需要我们提供的产品的信息，所以我不愿意将所有iTunes帐户都提供给第三方服务。这就是为什么我要自己刮取它或使用在我们的服务器上运行的产品的原因。

我的问题是:

有没有人经历过苹果多久更改一次Web前端？

在某台服务器对网站的最大请求方面有经验吗？我怕被苹果取缔。

还有什么我要记住的会引起严重麻烦的事情吗？

就像有人对我看过的工具感兴趣一样，这是 list :

服务:

http://www.appfigures.com(具有API)

http://www.itunesapis.com

http://www.appannie.com/

http://www.heartbeatapp.com

产品:

http://www.appclix.com(具有在您自己的服务器上运行的企业许可证，包括API。一般来说，我更倾向于使用移动分析工具)

http://www.ideaswarm.com/products/appviz/(Mac最终用户应用程序)

开源工具:

http://code.google.com/p/appdailysales/

http://metacpan.org/pod/WWW::iTunesConnect

http://www.rogueamoeba.com/utm/2009/05/04/itunesconnectarchiver/

http://github.com/kasatani/iphone-stats

http://bfoz.net/projects/itc/

http://sourceforge.net/projects/itunesanalytics/

更新:

我开始使用Kirby的python脚本( https://github.com/kirbyt/appdailysales)，并且效果很好。

Answer 1

does someone have experience how frequent apple is changing the web front-end?

我不能代表所有iTunes Connect，只能下载每日销售报告。我的脚本非常稳定，在2009年11月至2010年9月之间不需要进行任何更改。在Apple于2010年9月推出新网站时，这一更改就发生了变化。这打破了旧的脚本，必须编写一个新的脚本。自推出新网站以来，我每隔几天进行更改，以应对Apple的调整。我希望这些调整能很快结束。

查看appdailysales.py的下载页面。日期将使您大致了解我对脚本进行更改的频率。

https://github.com/kirbyt/appdailysales

同样，这仅适用于每日销售报告。我不确定iTC的其他领域会多久更改一次。

has someone experience in maximum request from one server to the site? I'm afraid of being baned by apple.

我还没有经历过，但是我的服务器每天只运行一次脚本。在编写脚本时，我经常碰到iTC，但不足以在Apple的服务器上造成负载。

anything else I have to have in mind that will cause serious trouble?

我不知道是什么让您遇到与苹果有关的麻烦，但确实引起严重头痛的一件事是网站的更改。该网站的新版本使屏幕抓取该网站更加容易，但确实需要编写一个新脚本。 Apple不会提醒您他们正在更改某些内容。您可以在屏幕刮板发生故障时查明事实。

如果您每天都要依赖数据，则必须删除所有内容并进行必要的修复。没有任何阻止苹果在将来某个时候推出另一个新站点的事情。

希望能有所帮助。

-基比