amazon-s3 - 亚马逊 s3 上的 zcat

Question

我想知道是否可以对存储在亚马逊 s3 上的 gzip 文件进行分类。也许使用一些流媒体客户端。你怎么看？

我们正在寻找类似于 zcat s3://bucket_name/your_file | grep "log_id" 的操作

Answer 1

来自 S3 REST API » Operations on Objects » GET Object :

To use GET, you must have READ access to the object. If you grant READ access to the anonymous user, you can return the object without using an authorization header.

如果是这种情况，您可以使用:

$ curl <url-of-your-object> | zcat | grep "log_id"

或

$ wget -O- <url-of-your-object> | zcat | grep "log_id"

但是，如果您还没有授予对对象的匿名 READ 访问权限，则需要创建并发送授权 header 作为 GET 的一部分。请求，这对于 curl 来说变得有些乏味/ wget .幸运的是，有人已经做到了，那就是 Perl aws script by Tim Kay如 recommended by Hari .请注意，只要您使用以 aws 开头的命令版本，您就不必将 Tim Kay 的脚本放在您的路径上或以其他方式安装它(除了使其可执行)。 ，例如。

$ ./aws cat BUCKET/OBJECT | zcat | grep "log_id"