python - 如何减少通过 REST api 发送的数据的延迟

Question

我有一个应用程序可以从我们的其他服务器之一获取 JSON 格式的数据。我面临的问题是，在请求此信息时存在明显的延迟。由于传递了大量数据(每个请求大约 1000 条记录，其中每条记录都非常大)是否有一种压缩方法可以帮助降低速度。如果是这样，您会推荐哪种压缩方案。

我读了另一个 thread他们的数据模式对于他们需要使用的压缩类型也很重要。数据的模式是一致的，类似于下面

 :desc=>some_description
 :url=>some_url
 :content=>some_content
 :score=>some_score
 :more_attributes=>more_data

有人可以推荐一种解决方案来减少这种延迟吗？它们延迟大约 6-8 秒。我使用 Ruby on Rails 开发此应用程序，提供数据的服务器大部分使用 Python。

Answer 1

我会先看看这 8 秒的延迟有多少与以下因素有关:

1. 服务器端处理(生成数据需要多少时间)这次有很多技巧可以改进，包括:

   • 数据库索引

   • 缓存

   • 更快的 to_json 库

一些优秀的资源是 NewRelic podcasts on Rails scalability http://railslab.newrelic.com/2009/02/09/episode-7-fragment-caching

1. 传输延迟(服务器和客户端之间发送数据所用的时间)

   • 如果 key 几乎相同，您可以实现来自 Compression algorithm for JSON encoded packets? 的解决方案;你可能想看看 https://github.com/WebReflection/json.hpack/wiki/specs-details和 http://www.nwhite.net/?p=242

   • 除此之外，您还可以从前端服务器压缩 (gzip) http://httpd.apache.org/docs/2.0/mod/mod_deflate.html http://wiki.nginx.org/NginxHttpGzipModule

   • 如果数据结构不变，您也可以尝试实现二进制服务，速度要快得多，包括压缩，但也更难维护，例如 thrift: http://www.igvita.com/2007/11/30/ruby-web-services-with-facebooks-thrift/

   • 如果这适合您的需要，也许您可​​以在服务器端制作某种版本控制/缓存系统，并仅发送修改过的记录(但这实现起来非常繁重)