docker - 在 Heroku 上使用 docker，scrapy splash

Question

我有一个 scrapy 蜘蛛，它使用在 Docker localhost:8050 上运行的 splash 在抓取之前呈现 javascript。我正在尝试在 heroku 上运行它，但不知道如何配置 heroku 以在运行我的网络之前启动 docker 以运行 splash:scrapy crawl abc dyno。非常感谢任何指南!

Answer 1

据我所知，您的期望:

• 通过 Docker 容器在 Heroku 上运行的 Splash 实例
• 在 Heroku dyno 中运行的 Web 应用程序(Scrapy spider)

飞溅实例

• 确保您可以拥有 docker CLI 和 heroku已安装 CLI
• 见 Heroku 的 Container Registry - Pushing existing image(s) :
  • 确保 docker CLI 和 heroku CLI 已安装
  • heroku container:login
  • docker tag scrapinghub/splash registry.heroku.com/<app-name>/web
  • docker push registry.heroku.com/<app-name>/web
  • 要测试应用程序:heroku open -a <app-name> .这应该允许您在 Heroku 主机上的端口 8050 上看到此应用程序名称的 Splash UI。
    • 您可能需要确保 $PORT被适本地设置为 EXPOSE不遵守 docker 配置 (https://devcenter.heroku.com/articles/container-registry-and-runtime#dockerfile-commands-and-runtime)

运行 Dyno Scrapy Web 应用程序

• 将您的应用程序配置为指向 <app-host-name>:8050 . Scrapy 蜘蛛现在应该能够请求之前运行的 Splash 实例。