gpt4 book ai didi

hadoop - 如何在HDFS中的文件上使用linux split命令?

转载 作者:行者123 更新时间:2023-12-02 21:05:43 25 4
gpt4 key购买 nike

我在HDFS中有一个大文件,想将其拆分为多个块。

如果文件在我的本地文件系统中,则可以使用split来实现它。

但是,该文件位于HDFS中,我不希望(无法)将其复制到本地文件系统中。

如何在HDFS中的文件上直接使用 split 命令?

最佳答案

如果文件大小不是很大,则可以将HDFS和Unix命令结合使用。

但是,我不建议这样做。 Hadoop框架会将文件拆分为较小的块(对于Hadoop-1.X,默认大小为64MB;对于Hadoop-2.X,默认大小为128MB),并在整个群集中进行物理分布。

您能描述在HDFS上分割文件的原因吗?

关于hadoop - 如何在HDFS中的文件上使用linux split命令?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42016477/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com