python - 如何在 Dash Python 中将大数据存储为全局变量？

Question

我在远程办公室的服务器上放置的 Dash 应用程序出现问题。两个运行该应用程序的用户将体验到由于表导入和表定价(定价代码大约 10,000 行并拉出 8 个表)而彼此之间的交互。在网上查看时，我看到要解决这个问题，只需创建 html.Div，然后在 JSON 中进行数据帧对话。但是，这个解决方案是不可能的，因为我必须存储 9 个表，总共 200,000 行和 500 列。所以，我研究了缓存解决方案。但是，此选项不会产生错误，但会显着增加程序的执行时间。从包含 20,000 辆汽车的表格增加到 200,000 辆，计算时间增加了近 * 1,000，而且每次我更改图形设置时都非常糟糕。

我使用缓存文件系统并且我使用了示例 4:https://dash.plotly.com/sharing-data-between-callbacks .通过计算一些时间，我注意到问题不是访问缓存(大约 1 秒)，而是将 JSON 表转换为数据帧(每个回调几乎 60 秒)。 60秒左右也是对应定价的时间，所以在回调中调用缓存和在回调中定价是一样的。

1/您是否有想法以缓存的形式保存数据框而不是 JSON，或者使用诸如不可见的 html.Div 或 cookie 系统或任何其他方法的技术？

2/使用 Redis 或 Memcached，我们必须提供返回 json？

2/如果是这样，我们如何设置它，以前面链接中的示例 4 为例，因为我有一个错误“redis.exceptions.ConnectionError: Error 10061 connecting to localhost: 6379. No connection could be established because l target计算机明确拒绝。” ?

3/你是否也知道关闭应用程序是否会自动删除缓存而不遵循default_timeout？

Answer 1

我认为您的问题可以使用 dash_extensions 解决，特别是服务器端回调缓存，可能值得一试。

https://community.plotly.com/t/show-and-tell-server-side-caching/42854