linux - Linux脚本不能创建超过1040个目录？

Question

Closed. This question does not meet Stack Overflow guidelines。它当前不接受答案。












想改善这个问题吗？更新问题，以便将其作为 on-topic用于堆栈溢出。

去年关闭。



Improve this question




我正在尝试使用以下脚本创建目录树:

for i in {1..5000}
do
mkdir $i
cd $i
done

但是脚本会在创建1038至1040目录后停止。 linux系统有什么限制？

最佳答案

Linux实际上对文件路径的长度没有限制。 (大多数Linux文件系统的确限制了文件名的长度，通常限制为256个字符。但是，路径中的组件数量没有限制。)因此，脚本可能有效。
但是， bash (和其他shell)的长路径名确实存在问题。特别是， bash 交互式 shell 中的错误意味着一旦您深入目录层次结构，以至于当前工作目录的路径名的长度超过某个限制，您就不会在终端 session 中看到正确的路径信息。这可能非常令人困惑。它可能会导致您认为脚本失败。
这是一个示例终端 session 。我首先更改提示，以避免用当前路径填充整个屏幕:

~/tmp$ export PS1='\W\$ '
tmp$ for i in {1..5000}; do mkdir $i; cd $i; done
10$ # The prompt is incorrect!
10$ basename "$PWD"
5000
10$ cd ~/tmp
tmp$ # count the number of files in the hierarchy
tmp$ find 1 -type v | wc -l
5000

bash 也表现出一个不相关的问题，即很深的文件层次结构会导致某些操作(例如 cd)非常缓慢，这大概是因为shell选择从根目录验证整个路径。对于bash，这会导致在路径的每个组件上调用 stat，因此脚本中的 mkdir/cd循环在文件树的深度上变成二次方。 zsh ，否则似乎可以正确处理长路径名，但在移动到其路径名包含很多组成部分的目录时，也会大大减慢速度，尽管不如 bash 那样多(且不定期)
Shell和长路径名，简短摘要

bash —
内置的 bash cd可以运行，但是如上所述，当有很多组件时，速度过慢。 Bash 的内置pwd似乎可以正常工作，但是对于$PS1中的替换逻辑(用于在交互式shell中产生提示)，不能说相同。很长的提示也会混淆readline库，因此，如果您的默认$PS1包括\w(工作目录的完整路径)，则您会发现bash session 基本上不可用。如上面的终端 session 所示，您可以将提示更改为使用\W(工作目录的基本名称)，但是由于计算该路径的路径名已被截断，因此会产生非常误导的提示。

破折号 —
内置的破折号 cd无法处理长路径名。当路径名超过此限制时，它将失败。这会导致您的脚本生成大量错误消息，每个失败的cd都会产生一条错误消息，因此我假设您没有使用破折号。
奇怪的是，内置的破折号 pwd可以在长路径名上正常工作，因此，如果您在路径名非常长的目录中启动破折号，即使您不会使用正确的路径名，也可以看到正确的路径名能够使用cd导航到其他文件夹。

ksh —
内置的cd可以快速运行，但是其参数长度有限。此外，内置的pwd还是有问题的，会在某些限制处截断路径。 $PWD也会被截断，因此如果您请求包含当前工作目录的提示，那么ksh提示将是错误的。但是，有一种解决方法:大多数Linux发行版中包含的pwd命令行实用程序(通常在/bin/pwd上)确实可以正确处理长路径名，因此您可以使用env pwd查看正确的路径:

  PS1='$(basename "$(env pwd)") $ '

zsh —
我发现 zsh 的唯一问题是，当路径中包含很多组件时，cd花费的时间非常可笑。如果您的默认提示中包含完整的路径名，那么您的交互式 shell 将没有太多空间容纳其他任何东西，但是似乎没有其他问题。如果您使用限制要查看的路径名组件的数量，则会得到一个可用的提示。

这些错误来自何处？
我刚才提到的所有错误可能都有相同的来源。
传统上，Unix系统库定义了一个名为 PATH_MAX的宏，该宏可用于创建足够大的缓冲区以容纳任何有效路径。假定路径名称存在一些系统限制，并且该限制不会太大。根据操作系统的不同，典型值的范围是256至4096。
最新的Posix标准并未对实际最大路径长度可能有多少做出任何声明，但仍定义了 PATH_MAX宏:

PATH_MAX

• Maximum number of bytes the implementation will store as a pathname in a user-supplied buffer of unspecified size, including the terminating null character. Minimum number the implementation will accept as the maximum number of bytes in a pathname.

在Linux上， PATH_MAX为4096。请注意，尽管没有什么可以阻止您在代码中重新定义 PATH_MAX，但它没有任何作用，因为该数字已被有效地编译到内核中。
换句话说，如果您使用某个系统接口(interface)将路径名存储到缓冲区中，并且该接口(interface)没有任何办法提供缓冲区的长度，则可以假定最多将 PATH_MAX字节存储到缓冲区中。缓冲。但这并不限制路径的长度。这只是意味着您用来确定路径的接口(interface)将返回截断的值。
此类接口(interface)的一个示例是 getwd，它将当前工作目录的完整路径存储在缓冲区中。 getwd不允许您指定缓冲区的大小，因此路径名被截断为 PATH_MAX - 1，在Linux上为4095字节。
该接口(interface)很久以前已被 getcwd取代，它同时使用缓冲区及其长度作为参数。但是 getcwd的Posix实现没有提供任何机制来确定缓冲区需要多大，因此无论如何都使用常量 PATH_MAX是很常见的。但是，Posix确实建议实现可以允许调用者提供 NULL而不是缓冲区，在这种情况下 getcwd将自动分配足够大的缓冲区，将其填充并返回。 (然后，调用者必须稍后再调用 free()以返回分配的内存。)并且 getcwd的Linux实现正是这样做的，这允许程序(例如shell)获得完整的未截断的路径名。显然， bash 确实在其内置 pwd中使用了它，并创建了 $PWD shell变量。但是 $PS1提示替换器没有；创建提示时，路径将被截断为 PATH_MAX - 1字符。截断发生在将路径名简化为 \W的基本名称之前，因此，如果您的路径很长且 \W在 $PS1中，则将从路径的中间获取组件的一部分。
所有这些使查看脚本是否有效非常令人困惑。但是在我尝试过的所有shell上，除了 破折号之外，文件夹都是正确创建的(使用 bash 和 zsh 非常缓慢)。

关于linux - Linux脚本不能创建超过1040个目录？ ，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/59817065/

上一篇：c - 仅当我将分隔符放在最后一项之后时，使用 strtok 才有效

下一篇：sql - 从 MS Access 表中过滤最近 3 天的生日记录

相关文章：

c - 基于 Unix 的 shell 在退出时关于子进程的默认行为？

shell - 基于 SSH key 限制访问

php - 在 Ubuntu (laravel) 中使用 XAMPP 运行 PHP 和 MySQL

python - 如何使用 C 文件返回一个值，然后使用 os.system 在 python 中获取它？

PHP shell_exec 不在后台运行

linux - 单个命令查找文件、压缩并移动到不同位置、删除原始文件

linux - 使用 shell 脚本在 centos linux 上安装 chrome

c - Linux内核模块编译

linux - Grep 在目录中的所有文件中搜索 string1 和 string2

c++ - 无法让 sigaction 工作

Answer 1

Linux实际上对文件路径的长度没有限制。 (大多数Linux文件系统的确限制了文件名的长度，通常限制为256个字符。但是，路径中的组件数量没有限制。)因此，脚本可能有效。
但是， bash (和其他shell)的长路径名确实存在问题。特别是， bash 交互式 shell 中的错误意味着一旦您深入目录层次结构，以至于当前工作目录的路径名的长度超过某个限制，您就不会在终端 session 中看到正确的路径信息。这可能非常令人困惑。它可能会导致您认为脚本失败。
这是一个示例终端 session 。我首先更改提示，以避免用当前路径填充整个屏幕:

~/tmp$ export PS1='\W\$ '
tmp$ for i in {1..5000}; do mkdir $i; cd $i; done
10$ # The prompt is incorrect!
10$ basename "$PWD"
5000
10$ cd ~/tmp
tmp$ # count the number of files in the hierarchy
tmp$ find 1 -type v | wc -l
5000

bash 也表现出一个不相关的问题，即很深的文件层次结构会导致某些操作(例如 cd)非常缓慢，这大概是因为shell选择从根目录验证整个路径。对于bash，这会导致在路径的每个组件上调用 stat，因此脚本中的 mkdir/cd循环在文件树的深度上变成二次方。 zsh ，否则似乎可以正确处理长路径名，但在移动到其路径名包含很多组成部分的目录时，也会大大减慢速度，尽管不如 bash 那样多(且不定期)
Shell和长路径名，简短摘要

bash —
内置的 bash cd可以运行，但是如上所述，当有很多组件时，速度过慢。 Bash 的内置pwd似乎可以正常工作，但是对于$PS1中的替换逻辑(用于在交互式shell中产生提示)，不能说相同。很长的提示也会混淆readline库，因此，如果您的默认$PS1包括\w(工作目录的完整路径)，则您会发现bash session 基本上不可用。如上面的终端 session 所示，您可以将提示更改为使用\W(工作目录的基本名称)，但是由于计算该路径的路径名已被截断，因此会产生非常误导的提示。

破折号 —
内置的破折号 cd无法处理长路径名。当路径名超过此限制时，它将失败。这会导致您的脚本生成大量错误消息，每个失败的cd都会产生一条错误消息，因此我假设您没有使用破折号。
奇怪的是，内置的破折号 pwd可以在长路径名上正常工作，因此，如果您在路径名非常长的目录中启动破折号，即使您不会使用正确的路径名，也可以看到正确的路径名能够使用cd导航到其他文件夹。

ksh —
内置的cd可以快速运行，但是其参数长度有限。此外，内置的pwd还是有问题的，会在某些限制处截断路径。 $PWD也会被截断，因此如果您请求包含当前工作目录的提示，那么ksh提示将是错误的。但是，有一种解决方法:大多数Linux发行版中包含的pwd命令行实用程序(通常在/bin/pwd上)确实可以正确处理长路径名，因此您可以使用env pwd查看正确的路径:

  PS1='$(basename "$(env pwd)") $ '

zsh —
我发现 zsh 的唯一问题是，当路径中包含很多组件时，cd花费的时间非常可笑。如果您的默认提示中包含完整的路径名，那么您的交互式 shell 将没有太多空间容纳其他任何东西，但是似乎没有其他问题。如果您使用限制要查看的路径名组件的数量，则会得到一个可用的提示。

这些错误来自何处？
我刚才提到的所有错误可能都有相同的来源。
传统上，Unix系统库定义了一个名为 PATH_MAX的宏，该宏可用于创建足够大的缓冲区以容纳任何有效路径。假定路径名称存在一些系统限制，并且该限制不会太大。根据操作系统的不同，典型值的范围是256至4096。
最新的Posix标准并未对实际最大路径长度可能有多少做出任何声明，但仍定义了 PATH_MAX宏:

PATH_MAX

• Maximum number of bytes the implementation will store as a pathname in a user-supplied buffer of unspecified size, including the terminating null character. Minimum number the implementation will accept as the maximum number of bytes in a pathname.

在Linux上， PATH_MAX为4096。请注意，尽管没有什么可以阻止您在代码中重新定义 PATH_MAX，但它没有任何作用，因为该数字已被有效地编译到内核中。
换句话说，如果您使用某个系统接口(interface)将路径名存储到缓冲区中，并且该接口(interface)没有任何办法提供缓冲区的长度，则可以假定最多将 PATH_MAX字节存储到缓冲区中。缓冲。但这并不限制路径的长度。这只是意味着您用来确定路径的接口(interface)将返回截断的值。
此类接口(interface)的一个示例是 getwd，它将当前工作目录的完整路径存储在缓冲区中。 getwd不允许您指定缓冲区的大小，因此路径名被截断为 PATH_MAX - 1，在Linux上为4095字节。
该接口(interface)很久以前已被 getcwd取代，它同时使用缓冲区及其长度作为参数。但是 getcwd的Posix实现没有提供任何机制来确定缓冲区需要多大，因此无论如何都使用常量 PATH_MAX是很常见的。但是，Posix确实建议实现可以允许调用者提供 NULL而不是缓冲区，在这种情况下 getcwd将自动分配足够大的缓冲区，将其填充并返回。 (然后，调用者必须稍后再调用 free()以返回分配的内存。)并且 getcwd的Linux实现正是这样做的，这允许程序(例如shell)获得完整的未截断的路径名。显然， bash 确实在其内置 pwd中使用了它，并创建了 $PWD shell变量。但是 $PS1提示替换器没有；创建提示时，路径将被截断为 PATH_MAX - 1字符。截断发生在将路径名简化为 \W的基本名称之前，因此，如果您的路径很长且 \W在 $PS1中，则将从路径的中间获取组件的一部分。
所有这些使查看脚本是否有效非常令人困惑。但是在我尝试过的所有shell上，除了 破折号之外，文件夹都是正确创建的(使用 bash 和 zsh 非常缓慢)。