- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我最近开始使用 Cassandra 数据库。我已经在本地机器中安装了单节点集群
。我正在使用 Cassandra 1.2.3
。
我在互联网上阅读这篇文章,发现了这一行-
Cassandra writes are first written to a commit log (for durability), and then to an in-memory table structure called a memtable. A write is successful once it is written to the commit log and memory, so there is very minimal disk I/O at the time of write. Writes are batched in memory and periodically written to disk to a persistent table structure called an SSTable (sorted string table).
为了理解上面的内容,我编写了一个简单的程序,它将使用 Pelops 客户端
写入 Cassandra 数据库。我能够将数据插入 Cassandra 数据库中。
现在我想看看我的数据是如何写入提交日志
的以及提交日志文件
在哪里?还有 SSTables
是如何生成的,以及我可以在本地框中找到它以及它包含的内容。
我想查看这两个文件,以便我可以更多地了解 Cassandra 在幕后的工作原理。
在我的 cassandra.yaml 文件中,我有这样的内容
# directories where Cassandra should store data on disk.
data_file_directories:
- S:\Apache Cassandra\apache-cassandra-1.2.3\storage\data
# commit log
commitlog_directory: S:\Apache Cassandra\apache-cassandra-1.2.3\storage\commitlog
# saved caches
saved_caches_directory: S:\Apache Cassandra\apache-cassandra-1.2.3\storage\savedcaches
但是当我打开commitLog时,首先它有很多数据,所以我的notepad++无法正确打开它,如果它被打开,由于某些编码或什么原因我无法正确看到。在我的数据文件夹中,我找不到任何东西?
这意味着这个文件夹对我来说是空的-
S:\Apache Cassandra\apache-cassandra-1.2.3\storage\data\my_keyspace\users
我这里有什么遗漏的吗?谁能解释一下如何读取 commitLog 和 SSTables 文件以及在哪里可以找到这两个文件?以及每当我写入 Cassandra 数据库时幕后到底发生了什么。
更新:-
我用来插入 Cassandra 数据库的代码-
public class MyPelops {
private static final Logger log = Logger.getLogger(MyPelops.class);
public static void main(String[] args) throws Exception {
// -------------------------------------------------------------
// -- Nodes, Pool, Keyspace, Column Family ---------------------
// -------------------------------------------------------------
// A comma separated List of Nodes
String NODES = "localhost";
// Thrift Connection Pool
String THRIFT_CONNECTION_POOL = "Test Cluster";
// Keyspace
String KEYSPACE = "my_keyspace";
// Column Family
String COLUMN_FAMILY = "users";
// -------------------------------------------------------------
// -- Cluster --------------------------------------------------
// -------------------------------------------------------------
Cluster cluster = new Cluster(NODES, 9160);
Pelops.addPool(THRIFT_CONNECTION_POOL, cluster, KEYSPACE);
// -------------------------------------------------------------
// -- Mutator --------------------------------------------------
// -------------------------------------------------------------
Mutator mutator = Pelops.createMutator(THRIFT_CONNECTION_POOL);
log.info("- Write Column -");
mutator.writeColumn(
COLUMN_FAMILY,
"Row1",
new Column().setName(" Name ".getBytes()).setValue(" Test One ".getBytes()).setTimestamp(new Date().getTime()));
mutator.writeColumn(
COLUMN_FAMILY,
"Row1",
new Column().setName(" Work ".getBytes()).setValue(" Engineer ".getBytes()).setTimestamp(new Date().getTime()));
log.info("- Execute -");
mutator.execute(ConsistencyLevel.ONE);
// -------------------------------------------------------------
// -- Selector -------------------------------------------------
// -------------------------------------------------------------
Selector selector = Pelops.createSelector(THRIFT_CONNECTION_POOL);
int columnCount = selector.getColumnCount(COLUMN_FAMILY, "Row1",
ConsistencyLevel.ONE);
System.out.println("- Column Count = " + columnCount);
List<Column> columnList = selector
.getColumnsFromRow(COLUMN_FAMILY, "Row1",
Selector.newColumnsPredicateAll(true, 10),
ConsistencyLevel.ONE);
System.out.println("- Size of Column List = " + columnList.size());
for (Column column : columnList) {
System.out.println("- Column: (" + new String(column.getName()) + ","
+ new String(column.getValue()) + ")");
}
System.out.println("- All Done. Exit -");
System.exit(0);
}
}
我创建的键空间和列族-
create keyspace my_keyspace with placement_strategy = 'org.apache.cassandra.locator.SimpleStrategy' and strategy_options = {replication_factor:1};
use my_keyspace;
create column family users with column_type = 'Standard' and comparator = 'UTF8Type';
最佳答案
你的理解已经差不多了。但是,缺少一些细节。
所以用结构化的方式解释一下,cassandra写操作生命周期分为这几个步骤
Cassandra 写入首先写入提交日志(为了持久性),然后写入称为内存表的内存表结构。一旦写入提交日志和内存,写入就被认为是成功的,因此写入时的磁盘 I/O 非常少。当 memtable 空间不足时,即当键的数量超过一定限制(默认为 128)或达到持续时间(集群时钟)时,它就会被存储到 sstable、不可变空间中(这种机制称为 <强>法拉盛)。在 SSTable 上完成写入后,您可以在数据文件夹中看到相应的数据,在您的情况下为 S:\Apache Cassandra\apache-cassandra-1.2.3\storage\data
。每个SSTable主要由2个文件组成——索引文件和数据文件
索引文件包含 - 布隆过滤器和键偏移对
数据文件包含实际的列数据
关于提交日志文件,这些是由 Cassandra 内部维护的加密文件,您无法正确看到任何内容。
更新:
Memtable 是一个内存缓存,其内容存储为键/列(数据按键排序)。每个列族都有一个单独的 Memtable,并从键中检索列数据。所以现在我希望您头脑清醒,了解为什么我们无法在磁盘中找到它们。
在您的情况下,您的内存表未满,因为内存表阈值尚未漂白但不会导致刷新。您可以了解更多关于MemtableThresholds here但建议不要触摸该转盘。
SSTableStructure:
欲了解更多信息,请参阅sstable
关于nosql - Cassandra 数据库中的 commitLog 和 SSTables,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15857779/
nodetool cfstats 显示以下输出: Read Count: 746287 Read Latency: 8.772114064696291 ms. Write Count: 135629
有没有办法控制 SSTable 的最大大小,例如 100 MB,这样当 CF 的数据实际超过 100MB 时,Cassandra 会创建下一个 SSTable? 最佳答案 不幸的是,答案并不是那么简单
在 BigTable/GFS 和 Cassandra 术语中,SSTable 的定义是什么? 最佳答案 排序字符串表(借自google)是一个键/值字符串对的文件,按键排序 关于computer-sc
所以我正在研究 Cassandra 并试图了解其架构,并且我正在阅读 wiki 中的以下页面: http://wiki.apache.org/cassandra/MemtableSSTable 因此,
我试图更好地理解 Cassandra 中 sstables 的不变性。当数据存在于 memtable 中时,在插入操作或更新/删除操作中会发生什么非常清楚。但是不清楚当我想修改已经被刷新的数据时会发生
使用自制软件安装 cassandra12 后,它会退出并显示以下消息: java.lang.RuntimeException: Can't open incompatible SSTable! Cur
我们使用的是 cassandra 2.0.17,我们有一个包含 50% 选择、40% 更新和 10% 插入(无删除)的表。 为了对此类表具有较高的读取性能,我们发现建议使用 LeveledCompac
我已经意识到一些 sstables 不会被丢弃,即使它们只包含墓碑。 使用手动主要压缩这些 sstables 被删除。 也许它需要将 unchecked_tombstone_compaction 与
在 Cassandra 2.x 中,当我删除一列或多列时,它们会在 Memtable 中收到一个逻辑删除,但数据不会被删除。在某个时刻,Memtable 会刷新到 SSTable,其中包括已删除的数据
我正在尝试使用 sstable2json 实用程序将 sstables 转换为 json。它工作正常,但对于计数器列,它给出了一个非常长的字符串值。 我的建表语句:创建表计数器1 (值计数器, 名称变
根据我在 cassandra 中的理解 当客户端将数据写入单个服务器时,它会写入提交日志(仅追加日志而没有随机搜索)。然后将数据放入驻留在内存中的 MEMTable 中。然后确认写入成功。当 MEMT
根据: http://www.datastax.com/docs/1.0/ddl/column_family#about-column-family-compression RDBMS 看到压缩导致性
阅读 nodetool 标记的问题后编辑。 我们每天拍摄我们的单节点 cassandra 数据库的快照。如果我想在该节点上或在运行不同 cassandra 实例的临时服务器上恢复快照,我的理解是我必须
关闭。这个问题需要更多focused .它目前不接受答案。 想改进这个问题吗? 更新问题,使其只关注一个问题 editing this post . 关闭 4 年前。 Improve this qu
我最近开始使用 Cassandra 数据库。我已经在本地机器中安装了单节点集群。我正在使用 Cassandra 1.2.3。 我在互联网上阅读这篇文章,发现了这一行- Cassandra writes
当使用 LeveledCompactionStrategy 时,sstables 被组织在“级别”中。是否可以查看文件属于哪个级别? 背景:我有一堆我最终会压实的墓碑。我很好奇这些墓碑到底有多少层。
在我运行之后:- sudo service cassandra start 然后是 sudo service cassandra status 我得到一个无法访问 Cassandra 的 pidfil
我是Cassandra等nosql数据库的新手,目前看到这个二级索引和sstable附加二级索引。有些我对在 Cassandra 中使用二级索引的目的感到困惑,关系数据库和带二级索引的 Cassand
使用两个数据库来说明这个例子:CouchDB和 Cassandra . CouchDB CouchDB 使用 B+ 树作为文档索引(使用 a clever modification 在其仅附加环境中工
我在哪里可以找到有关哪个版本的 Cassandra 支持哪个版本的 SSTables 的更多信息。 最近我注意到 DSE Cassandra 正在生成 SSTables bti ,而 Apache C
我是一名优秀的程序员,十分优秀!