hadoop - 连接 Cassandra 和 Hive

Question

目前我正在使用 Cassandra 2.1.5、Hive 1.2.1 和 Hadoop 2.7.1。我尝试使用本教程将 Cassandra 连接到 Hive:

http://frommyworkshop.blogspot.com/2013/09/real-time-data-processing-with.html

但我似乎陷入了创建外部表的困境:

CREATE EXTERNAL TABLE test.pokes(foo int, bar string) STORED BY 'org.apache.hadoop.hive.cassandra.CassandraStorageHandler' WITH SERDEPROPERTIES ("cassandra.host" = "127.0.0.1" , "cassandra.port" = "9160", "cql.primarykey" = "foo", "comment"="check", "read_repair_chance" = "0.2", "dclocal_read_repair_chance" = "0.14", "gc_grace_seconds" = "989898", "bloom_filter_fp_chance" = "0.2", "compaction" = "{'class' : 'LeveledCompactionStrategy'}", "replicate_on_write" = "false", "caching" = "all");

出现这样的错误:

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe.initSerdeParams(Lorg/apache/hadoop/conf/Configuration;Ljava/util/Properties;Ljava/lang/String;)Lorg/apache/hadoop/hive/serde2/lazy/LazySimpleSerDe$SerDeParameters;

有人知道如何解决这个问题吗？

Answer 1

解决这个 hive-cassandra 存储处理程序问题可能很乏味。

您在 shell 上发现的错误日志可能并不总是有用。

请引用配置单元日志文件，该文件主要位于/tmp/<user-id>/hive.log。 , 以获取有关失败的实际详细错误消息。

大部分原因可能是因为错误的 cassandra 主机名/端口、 key 空间、 key 配置等

希望这对您有所帮助。