hadoop - 如何增加 hdfs 容量

Question

如何将 hadoop DFS 的配置容量从默认的 50GB 增加到 100GB？

我目前的设置是在 centOS6 机器上运行的 hadoop 1.2.1，使用了 450GB 中的 120GB。已使用“Hadoop 权威指南 3'rd”建议的/conf 将 hadoop 设置为伪分布式模式。hdfs-site.xml 只有一个配置属性:

   <configuration>
    <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
 </configuration>

下面这行没有给出错误反馈...返回提示

hadoop dfsadmin -setSpaceQuota 100g  /tmp/hadoop-myUserID

如果我在再生循环中(已执行

 rm -rf /tmp/hadoop-myUserId  

试图“从头开始”) setSpaceQuota 的这种看似成功的发生当且仅当 - 如果我执行了

  start-all.sh
  hadoop namenode -format

我的dfs容量配置失败显示为

 hadoop dfsadmin -report

显示相同的 50GB 配置容量。

如果这是当前获得 100GB hdfs 配置容量的最佳方式，我愿意切换到 hadoop 2.2(现在是稳定版本)。 似乎 hdfs-site.xml 应该有一个配置属性，它允许我使用更多的空闲分区。

Answer 1

将 hdfs 的位置设置为具有更多可用空间的分区。对于 hadoop-1.2.1，这可以通过设置 hadoop.tmp.dir 来完成hadoop-1.2.1/conf/core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
   <property>
      <name>fs.default.name</name>
     <value>hdfs://localhost:9000</value>
     </property>
   <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/myUserID/hdfs</value>
    <description>base location for other hdfs directories.</description>
   </property>
</configuration>

运行

df

曾说过我的 _home 分区是我的硬盘，我的/
减去 50GB( _root) 分区。 hdfs 的默认位置是/tmp/hadoop-myUserId在/分区中。这是我最初的 50GB hdfs 大小的来源。

hdfs 目录分区位置的创建和确认由

mkdir ~/hdfs
df -P ~/hdfs | tail -1 | cut -d' ' -f 1

成功实现由

完成

stop-all.sh
start-dfs.sh
hadoop namenode -format
start-all.sh
hadoop dfsadmin -report

它将 hdfs 的大小报告为我的 _home 分区的大小。

感谢 jtravaglini 的评论/线索。