kubernetes - 将Cassandra数据存储在其他分布式文件系统(例如MapR和hdfs)上是否可行？

Question

我只是想知道将Apache Cassandra的数据存储到任何其他分布式文件系统的影响。

例如-假设我有5个节点的Hadoop集群和3的复制因子。

类似地，对于cassandra，我有5个群集节点，所有键空间的复制因子均为3。所有数据将以相同的Mount路径存储在hdfs位置。

例如-node-0 Cassandra数据目录-“/ data / user / cassandra-0 /”

和Cassandra日志目录-
“/ data / user / cassandra-0 / logs /

对于这种架构，我需要对以下几点进行评论:

正如datastax文档中所建议，casaandra数据和commitlog目录应该不同，在这种情况下是不可能的。默认配置下，cassandra commitlog的大小为8192MB。因此，根据我的理解，如果我有1TB的磁盘，并且磁盘已满或任何磁盘级别错误将停止整个cassandra群集？

第二个问题与基础存储机制有关。通过指定hdfs的复制因子3和cassandra的复制因子3来进行两个级别的数据分发，那么是否会将相同的数据(稳定数据)存储在9个位置？大量内存丢失，请在此提出建议？

Answer 1

Cassandra不支持在非本地文件系统(如HDFS等)上的开箱即用的数据存储。理论上您可以破解源代码来支持此操作，但这没有任何意义-Cassandra可以处理复制本身，而不需要其他文件系统层。