个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
26
4
是否可以使用map reduce将1个.tar.gz文件转换为1个序列文件？
到目前为止，在不拆分tar.gz或不从本地文件系统拆分所有解决方案的情况下。
http://qethanm.cc/projects/forqlift/examples/
最佳答案
假设您的gzip压缩文件存储在HDFS中，大小为1 GB。 HDFS块大小为
64 MB，文件将被存储为16个块。但是，不会为每个区块创建拆分
之所以可以工作，是因为无法在gzip流中的任意位置开始读取，并且
因此， map task 无法独立于其他任务读取其拆分。的
gzip格式使用DEFLATE存储压缩数据，而DEFLATE存储数据
作为一系列压缩块。问题是每个块的开始都没有
以允许读者位于
流前进到下一个块的开头，从而使其自身同步
与流。因此，gzip不支持拆分。
关于hadoop - 分割tar.gz后将.tar.gz转换为序列文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/31893926/
26
4
0
我正在使用 tf 函数列出 tar.gz 文件的内容。它非常大~1 GB。大约有 1000 个文件以年/月/日文件结构组织。 列表操作需要一些时间。似乎列表应该很快。谁能告诉我内部原理？ 谢谢- 最佳
如何将信息通过管道传输到 tar 中并指定文件名？ 最佳答案 类似于: tar cfz foo.tgz --files-from=- 但请记住，这不适用于所有可能的文件名；您应该考虑使用 --null
我总是用 tar czf file.tar.gz dirname而不是 tar -czf file.tar.gz dirname (没有 - )因为更快 我知道......从文档中，我所做的是错误的。
我有一个小型的 bash 单行代码，可以从各种来源下载存档列表。以下是包含该列表的文件示例: http://this-is-url1/url1.tar.gz http://www.this-is-ur
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 这个问题似乎不是关于 a specific programming problem, a softwar
假设我在服务器 A 上使用 tar -czvf subdir.tgz subdirectory/* 创建了一个 tar 存档。 .如果我在服务器 B 上有一个并行结构，我已将此 tarball 复制到
我看到Linux tar有一个选项--overwrite。但是覆盖似乎是默认设置。而且，指定tar --no-overwrite不会更改此行为，因为信息文件似乎暗示了这一点。 那么，该选项实际上是做什
我需要创建一个任意大的 tarfile 用于测试，但不希望它写入磁盘。 最简单的方法是什么？ 最佳答案 您可以轻松地使用 python 生成这样的 tarfile: mktar.py: #!/usr/
[root@c0002242 lfeng]# tar -zxvf/opt/test/ALLscripts.tar.gz -C/opt/test1 tar:这看起来不像 tar 存档 tar:跳到下一个
tar -xvzf $文件名.tar.gz || { 退出 $?; } 这里我的脚本将退出并显示错误代码 141。我使用的是 Fedora Core 6 和 tar 版本 1.15 这种情况不会一直发
我无法运行 docker-compose up 或 docker-compose build --no-cache。两者都以 ERROR: Error processing tar file(arch
我对 linux 平台非常陌生，我想为 ubuntu 提取 gnutls。如果我做， $ls 然后，它将在下面显示这些文件。 gnutls-3.2.1.tar.lz gnutls-3.2.1.tar.
我有一个巨大的 tarbell 存档，其中包含过大或损坏的 error_log，导致存档在尝试解压缩时挂起。有没有办法在解压缩或提取存档之前从存档中删除它，而无需在 Mac OS X 终端上提取该特定
我正在尝试针对特定用例评估 Artifactory，并且正在寻找可以支持将 Artifactory 用于文件存储库的文档。 我找到的只是一个用于部署 Artifactory 的文档，这些文档已存档在
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 这个问题似乎不是关于 a specific programming problem, a softwar
我想写一个有两个参数的脚本1. 父目录名称(例如 mainFolder)2.要创建的tar名称 父目录将包含子文件夹(文件夹 1、文件夹 2、文件夹 3 等)。我需要一个脚本来创建“mainFolde
假设我在 /tmp 中。我想压缩 /tmp/aaa/123,/tmp/bbb/222。我使用的命令是:tar -vczf/tmp/my.tar.gz/tmp/aaa/123/tmp/bbb/222。这
我有一个bzip2ed tar 文件和一个包含文件列表的文本文件。我想从 tar 中提取文本文件中列出的文件，将它们添加到一个新的 tar 中，然后从第一个 tar 中删除它们。 例如，如果我有这样一
本文实例讲述了Python打包文件夹的方法。分享给大家供大家参考，具体如下： 1、zip ?
我输入这个命令su -c busybox tar -xvf/storage/emulated/0/Download/andrax.r5-build5.tar.xz -C/data/data/com.t
我是一名优秀的程序员,十分优秀！