hadoop - hadoop公平调度程序打开文件错误？

Question

我正在测试用于作业分配的公平调度程序模式，但是出现了这样的错误
java.io.IOException:无法运行程序“bash”:java.io.IOException:error = 24，打开的文件过多

google之后，大多数人会告诉您检查系统中当前正在打开多少文件(通过unix命令lsof)以及该数字与您的系统限制有什么关系(通过bash命令ulimit -n检查)。我认为，一次增加最大打开文件数是一种短期解决方案。

反正有避免这种情况吗？

Answer 1

您的系统已达到＃(最大打开文件数)限制的事实，您可能需要检查:

系统上正在运行多少其他操作？

他们正在大量打开许多文件吗？

您的Hadoop工作本身是否会大量打开许多文件？

您的系统上＃(最大打开文件数)的当前限制是否太小？ (您可以用Google搜索出典型值)。如果它太小，请考虑增加它

我认为增加＃(最大打开文件数)限制会解决。从长远来看，如果＃1，＃2和＃3没有得到解决，您可能会再次遇到该问题。