hadoop - Hadoop Datanode Xcievers错误

Question

我已经使用HDFS API构建了一个存储系统。我现在正在对系统进行一些性能测试。我通过SIEGE创建了大量并发文件检索请求(例如:siege -c 500 -r 1 "http://bucket1.s3.bigdatapro.org/1.jpg")。但是，我在datanode上遇到了以下问题:

013-06-17 21:08:56,987 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(146.169.35.109:50010, storageID=DS-1983611132-146.169.35.109-50010-1350751070203, infoPort=50075, ipcPort=50020):DataXceiver
java.io.IOException: xceiverCount 4097 exceeds the limit of concurrent xcievers 4096
    at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:156)

我已经设置了:

<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>

我可以将其增加到更高的值(value)吗？将其设置为很高的值会有任何副作用吗？像一千万
我还创建了最大可打开文件数为50000。我还缺少什么吗？还是我做错了什么？

谢谢

Answer 1

您可以根据应用程序并发需要多少线程来进一步增加xcievers计数。在我的研究中，我发现事实证明，您投入的越多是不好的，因为我们在长时间内受到性能的影响。

同样在您的Datanodes中，检查ulimit计数是否正在引起任何问题。