scrapy - 飞溅内存限制(scrapy)

Question

我已经从 docker 启动了 splash。我为 splash 和 scrapy 创建了大的 lua 脚本，然后它运行我看到了问题:

Lua error: error in __gc metamethod (/app/splash/lua_modules/sandbox.lua:189: script uses too much memory

如何增加启动时的内存？

Answer 1

不幸的是，从 Splash 2.3.2 开始，没有提高这些限制的内置方法。限制在这里被硬编码:https://github.com/scrapinghub/splash/blob/7b6612847984fc574ebbedf9c3c750180cd93813/splash/lua_modules/sandbox.lua#L176 - 您可以更改该值，然后通过运行 docker build -t splash 重建 Docker 镜像。 从 Splash 源 checkout ，然后使用此镜像而不是来自 DockerHub 的镜像。