hadoop - HDFS 到 Cassandra

Question

是否可以将已处理的文件(使用 PIG)从本地 HDFS(比方说 192.168.0.10)迁移/复制/复制/移动到 cassandra (192.168.0.20)？

我的想法是，我实际上创建了一个 java 应用程序来解析文件并将它们重新插入到 cassandra 中。

还有其他方法吗？

非常感谢!

Answer 1

写一个Java程序将Hadoop数据迁移到Cassandra表，其实是大材小用。如果您碰巧定期执行相同的操作，情况会变得更糟。

相反，我们可以利用 Hive 的一个非常有用的功能，它可以帮助我们将 Hive 表与外部数据源集成。其hive的Storage Handler Api，可与Cassandra/Oracle/Mysql等外部数据源集成。

已经有一个可用的 Hive-Cassandra Storage Handler API 实现，我们可以很好地重用它，请在下面的 url 中找到相同的。

https://github.com/tuplejump/cash/tree/master/cassandra-handler

想法是创建配置有关于远程 Cassandra 主机/表详细信息的存储处理程序规范的 Hive 外部表。

对该外部表执行的任何写入/读取操作都将由 Hive 通过与 Cassandra 对话的 mapreduce 作业来处理。

我希望这是集成 Hive 和 Cassandra 的理想方式，它可以让我们付出更少的努力，而且非常高效。

希望这对您有所帮助。