hadoop - HBase Squoop导入卡住

Question

在cloudera集群上:
我尝试将HBase中的100k行mysql表成功导入作为测试。
现在，我正在尝试导入264M行的postgre表。首先，我使用默认数量的映射器(没有“-m”选项)，但是在35或100行之后，sqoop作业的控制台给了我这个错误:“org.apache.hadoop.client.RetriesExhaustedWithDetails:失败的XXX操作:服务器问题:XXXXXXXXXXXXX”在运行良好的计算机上，而我的所有服务在Cloudera上均为绿色。
为避免这种情况，我尝试设置单个映射器(“-m 1”)。没有更多的错误，但是在100-110行之后，sqoop停止添加新行，并且cloudera的日志中没有任何内容...我试图让导入连续运行3天。
一些信息:我让sqoop选择行ID。原始表是3个列键的(带有varchars)。
我想我有一些错误的配置，但我不知道是哪一个...

Answer 1

好吧，我知道了。 Hbase在表的3个主键之一上采用默认的单键。结果是:它使用相同的第一个主键在前一行上重写。它不会冻结。现在，我指定了他必须用于存储在HBase中的列。