python - 如何在系统之间传递大数据

Question

我有以 XML 格式存储的定价数据，该数据每小时生成一次。如果以 XML 形式存储，其大小约为 100MB。我需要将此数据发送到我的主系统才能处理此数据。 future 也有可能每隔1m发送这个数据大小。

发送此数据的最佳方式是什么？到目前为止我的想法是:

- It would be too large to send as JSON to a POST endpoint
- Possible to send it as XML and store it on my server

是否有更优化的方法来做到这一点？

Answer 1

正如 Michael Anderson 的回答中提到的，您可以只发送每个系统之间的更改的差异。

实现此目的的一种方法是引入 git 等协议(protocol)。

使用 git，您可以:

1. 在第一个系统上生成数据并推送到私有(private)存储库
2. 让您的第二个系统拉取更改

这比每次都拉取整个数据副本要高效得多。

它也会被压缩，并通过加密 channel (取决于 git 服务器/服务)