Python，云 - 具有调度功能的在线网页抓取工具

Question

我计划使用 python 开发一个 Web/云应用程序，它执行以下操作，
1.上传Perl/Python抓取脚本并执行。
2. 上传脚本以按计划运行。
3. 使用不同的输入参数运行同一脚本的多个实例。
4. 衡量脚本性能。
5. 查看脚本标准输出/日志。

我对能够满足我的要求的技术了解有限/不了解，
对现有工作、库、开源实现等的提示、指针、想法表示赞赏。

谢谢，
拉杰什。

Answer 1

使用 Scrapy 作为您工作的基础:

http://scrapy.org/

对于上传、脚本性能和输出(我假设是通过 Web 界面)，您需要编写自定义 Web 前端，将该信息存储在数据库中，然后您可以在数据库中探索它。一种选择是金字塔:

http://pypi.python.org/pypi/pyramid/

有关 Python 云部署，请参阅 Heroku:

http://www.heroku.com/