caching - 如何从 hadoop 缓存图像以及如何隐藏 url 中给定的端口号

Question

http://testing:50070/webhdfs/v1/Test/asaw4zds_ssdf4_ht35-9a1a-4a7b-9n.jpg?op=OPEN

我正在使用 webhdfs 通过 hadoop 获取上面的图像 我想将此图像缓存在浏览器如何做到这一点是否有任何机制来缓存来自 hadoop 的图像以及如何隐藏此 url 中的端口号

Answer 1

我对webhdfs不熟悉，但如果它不支持缓存，你必须在客户端和webhdfs服务器之间放置一个缓存层。

好吧，您需要的是启用缓存功能的反向代理。有几种选择如何做到这一点，但你应该选择 Apache mod_cache。或 Nginx reverse proxy caching你会没事的。

所以，如果你想从 url 中隐藏端口，你必须在端口 80 上启动网络服务器/代理。然后只需在 /proxy 上下文中创建代理别名并将请求重定向设置为 http://testing:50070/webhdfs。启用缓存。最后，您可以通过缓存代理在 url http://testing/proxy/v1/Test/asaw4zds_ssdf4_ht35-9a1a-4a7b-9n.jpg?op=OPEN 上请求您的 webhdfs >

通信将如下所示:

Client 1:00PM <> Proxy (no cache) <> Webhdfs (asaw4zds_ssdf4_ht35-9a1a-4a7b-9n.jpg)
Client 2:00PM <> Proxy (asaw4zds_ssdf4_ht35-9a1a-4a7b-9n.jpg) expires in 1h
Client 2:45PM <> Proxy (asaw4zds_ssdf4_ht35-9a1a-4a7b-9n.jpg) expires in 15min
Client 4:00PM <> Proxy (asaw4zds_ssdf4_ht35-9a1a-4a7b-9n.jpg) expired!! <> Webhdfs (asaw4zds_ssdf4_ht35-9a1a-4a7b-9n.jpg)

我没有提供任何示例，但您可以找到许多适用于 Apache 或 Nginx 的示例。您选择。