hadoop - 将数据导入Hadoop

Question

我来自许多SQL服务器，因此很难准确描述数据进入hadoop时会发生什么情况。

我的理解是，如果您有一本书的文本格式可能在200k左右左右，则只需将数据复制到hadoop中就可以搜索了。但是，此数据是否成为块的一部分，以使HDFS可以达到最佳状态，或者在HDFS中仍然保留200k文件，从而影响性能？

也是Bigtable中通常称为平板电脑的Block吗？

非常感谢你的帮助。
飞马里奥

Answer 1

小于HDFS块大小(默认为64 MB)的文件将成为块的一部分，是的。但是，诸如此类的小文件在某些​​情况下仍可能会损害您的性能，例如，如果您有很多此类小文件，并且您对它们运行了M​​apReduce作业。

Vanilla Hadoop与Bigtable没有任何关系，HDFS块实际上无法与平板电脑相比。尽管Hadoop的HDFS块不知道所保存的数据，但Bigtable平板电脑可识别数据。