hadoop - 在HDFS中写入小文件

Question

我知道这听起来很愚蠢，并且了解hadoop并不适合小文件，但不幸的是，我收到了6000多个小文件，每个文件的大小约为50kb。

每次我尝试运行“hadoop fs -put -f / path / FOLDER_WITH_FILES / target / HDSF_FOLDER”时，在与namenode建立连接时，对于一个随机文件总是会失败。

java.net.SocketTimeoutException: 75000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.SocketChannel

我想知道是否有更好的方法来编写HDFS小文件。

谢谢

Answer 1

始终建议将所有小文件合并到hadoop序列文件中并进行处理。
它将为您带来性能提升。