- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章Java page cache回写机制案例详解由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
在不使用堆外内存的情况下,java在写文件时,先将字节写入JVM的堆内内存中;然后调用jvm的写文件函数,将字节写入jvm的堆外内存中,jvm再调用系统内核的写文件函数,将字节写入内核的heap中;然后内核将字节写入page cache中,将page cache状态改为dirty,根据page cache的回写机制在合适的时机将字节写入磁盘.
。
page cache的回写时机由系统配置/etc/sysctl.conf中的几个参数决定,分别是:
默认值:0 表示不启用 。
当脏页所占的内存大小超过dirty_background_bytes时,内核的pdflush线程会从后台开始回写脏页,不会影响应用程序的后序IO操作.
默认值 :10 。
参数意义:当脏页所占的百分比(相对于所有可用内存,即空闲内存页+可回收内存页)达到dirty_background_ratio时内核的pdflush线程从后台开始回写脏页,不会影响应用程序的后序IO操作。增大会使用更多内存用于缓冲,可以提高系统的读写性能。当需要持续、恒定的写入场合时,应该降低该数值.
注意:dirty_background_bytes参数和dirty_background_ratio参数是相对的,只能指定其中一个。当其中一个参数文件被写入时,会立即开始计算脏页限制,并且会将另一个参数的值清零.
默认值:0 表示不启用 。
当脏页所占的内存数量达到dirty_bytes时,内核将脏页中的数据刷入磁盘并阻塞后序的IO操作.
注意:dirty_bytes参数和dirty_ratio参数是相对的,只能指定其中一个。当其中一个参数文件被写入时,会立即开始计算脏页限制,并且会将另一个参数的值清零 。
默认值:20 。
参数意义:当脏页所占的百分比(相对于所有可用内存,即空闲内存页+可回收内存页)达到dirty_ratio时,内核将脏页中的数据刷入磁盘并阻塞后序的IO操作.
dirty_ratio是属于强制性的回写,也就是说当一个内存区的脏页达到这个比例时就会触发内核内存管理把脏页强制回写的流程,但dirty_background_ratio是属于软性的行为,因为这是透过pdflush内核线程进行的流程,可以在后台执行对这些脏页面回写,并不会因此影响到当下正在执行中的过程。 所以看Linux内核中预设的比例是脏页达到5%的比例时就会先透过pdflush内核线程进行回写,当脏页达到10%比例时,就等于是一个很严重的状况,此时就会在平衡脏页面流程中触发强制的回写,让系统可以回复到原本预设合理的状态.
默认值:3000 。
参数意义:用来指定脏数据能存活的时间。指定的值是按100算做一秒计算。只有当超过这个值后,才会被内核进程pdflush写到磁盘.
默认值:500 。
参数意义:pdflush回写的频率,每次的唤醒的间隔,是以数字100算做1秒。如果将这项值设为500就相当5秒唤醒pdflush进程。如果将这项值设为0就表示完全禁止定期回写数据.
向/proc/sys/vm/drop_caches文件中写入数值可以使内核释放page cache,dentries和inodes缓存所占的内存.
只释放pagecache:
echo 1 > /proc/sys/vm/drop_caches
只释放dentries和inodes缓存:
echo 2 > /proc/sys/vm/drop_caches
释放pagecache、dentries和inodes缓存:
echo 3 > /proc/sys/vm/drop_caches
这个操作不是破坏性操作,脏的对象(比如脏页)不会被释放,因此要首先运行sync命令.
注:这个只能是手动释放 。
。
采用javaBIO不断向一个文件写入数据,通过pcstat观察page cache的大小。文件初始状态:
[root@node01 ~]# ll test.txt && pcstat test.txt -rw-r--r--. 1 root root 0 Aug 1 19:58 test.txt+----------+----------------+------------+-----------+---------+| Name | Size (bytes) | Pages | Cached | Percent ||----------+----------------+------------+-----------+---------|| test.txt | 0 | 0 | 0 | NaN |+----------+----------------+------------+-----------+---------+
将脏页阈值设置为10MB,脏页存活时间设置为5000s,当脏页大小不足10MB时,绝对不会被刷入磁盘,当脏页大小超过10MB,但是存活时间不超过5000s时,满足dirty_background_bytes的条件,被刷入磁盘.
#修改系统配置[root@node01 ~]# vi /etc/sysctl.conf...#便于测试,设为10485760 10mb vm.dirty_background_bytes = 10485760#便于测试,设为104857600 100mb vm.dirty_bytes = 104857600#便于测试,设为500000 5000svm.dirty_writeback_centisecs = 500000#便于测试,设为30000 5minvm.dirty_expire_centisecs = 30000#加载系统配置[root@node01 ~]# sysctl -p
当page cache大小超过10mb前,停止写入,关闭电源,重启设备.
关机前page cache状态及文件大小.
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 1.7K Aug 1 20:20 test.txt+----------+----------------+------------+-----------+---------+| Name | Size (bytes) | Pages | Cached | Percent ||----------+----------------+------------+-----------+---------|| test.txt | 1660 | 1 | 1 | 100.000 |+----------+----------------+------------+-----------+---------+
掐断电源,重启。(注意,这里不能按正常流程重启电源) 。
重启后page cache状态及文件大小.
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 0 Aug 1 20:20 test.txt+----------+----------------+------------+-----------+---------+| Name | Size (bytes) | Pages | Cached | Percent ||----------+----------------+------------+-----------+---------|| test.txt | 0 | 0 | 0 | NaN |+----------+----------------+------------+-----------+---------+
之前写入的数据全部丢失,由于没有达到后台自动刷入磁盘的阈值(dirty_background_bytes),page cache内的数据丢失.
当page cache大小超过10mb后,停止写入,关闭电源,重启设备.
关机前page cache状态及文件大小.
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 37M Aug 1 20:26 test.txt+----------+----------------+------------+-----------+---------+| Name | Size (bytes) | Pages | Cached | Percent ||----------+----------------+------------+-----------+---------|| test.txt | 37985420 | 9274 | 9274 | 100.000 |+----------+----------------+------------+-----------+---------+
掐断电源,重启。(注意,这里不能按正常流程重启电源) 。
重启后page cache状态及文件大小.
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 30M Aug 1 20:26 test.txt+----------+----------------+------------+-----------+---------+| Name | Size (bytes) | Pages | Cached | Percent ||----------+----------------+------------+-----------+---------|| test.txt | 31035392 | 7577 | 0 | 000.000 |+----------+----------------+------------+-----------+---------+
之前写入的数据部分丢失,每次达到后台自动刷入磁盘的阈值(dirty_background_bytes)时内核都会进行一次刷入操作,而没有达到阈值的部分就会丢失。关机前37M,关机后30M,自动刷入阈值设置为10M,37-10=7M,这7M数据没有被刷入磁盘,重启后丢失.
将脏页阈值设置为100MB,检测频率设置为1s,脏页存活时间设置为15s。这样可以达到这样一个测试目的,当我的page cache大小未到达100MB时,由于超过了存活时间15s,检测的又很及时,几乎可以被全部刷入磁盘。为什么说几乎呢?因为不管怎么样,靠检测频率自动刷入机制终究会丢失检测真空期的数据。脏页在每次刷入磁盘后重写前都是干净的状态.
#修改系统配置[root@node01 ~]# vi /etc/sysctl.conf...#便于测试,设为104857600 100mb vm.dirty_background_bytes = 104857600#便于测试,设为104857600 100mb vm.dirty_bytes = 104857600#便于测试,设为1500 15svm.dirty_writeback_centisecs = 1500#便于测试,设为100 1svm.dirty_expire_centisecs = 100#加载系统配置[root@node01 ~]# sysctl -p
当page cache大小超过100mb前,停止写入,未超过15s,关闭电源,重启设备.
关机前page cache状态及文件大小.
-rw-r--r--. 1 root root 150 Aug 1 20:44 test.txt+----------+----------------+------------+-----------+---------+| Name | Size (bytes) | Pages | Cached | Percent ||----------+----------------+------------+-----------+---------|| test.txt | 150 | 1 | 1 | 100.000 |+----------+----------------+------------+-----------+---------+
掐断电源,重启。(注意,这里不能按正常流程重启电源) 。
重启后page cache状态及文件大小.
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 0 Aug 1 20:44 test.txt+----------+----------------+------------+-----------+---------+| Name | Size (bytes) | Pages | Cached | Percent ||----------+----------------+------------+-----------+---------|| test.txt | 0 | 0 | 0 | NaN |+----------+----------------+------------+-----------+---------+
之前写入的数据全部丢失,由于没有超过脏页存活时间,page cache内的数据丢失.
当page cache存活超过15s后,关闭电源,重启设备.
关机前page cache状态及文件大小.
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 1.7K Aug 1 20:48 test.txt+----------+----------------+------------+-----------+---------+| Name | Size (bytes) | Pages | Cached | Percent ||----------+----------------+------------+-----------+---------|| test.txt | 1680 | 1 | 1 | 100.000 |+----------+----------------+------------+-----------+---------+
掐断电源,重启。(注意,这里不能按正常流程重启电源) 。
重启后page cache状态及文件大小.
[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 1.7K Aug 1 20:48 test.txt+----------+----------------+------------+-----------+---------+| Name | Size (bytes) | Pages | Cached | Percent ||----------+----------------+------------+-----------+---------|| test.txt | 1680 | 1 | 1 | 100.000 |+----------+----------------+------------+-----------+---------+
超过15s且被检测到的数据全部保留 。
将脏页阈值设置为100MB,检测频率设置为15s,脏页存活时间设置为1s。这样可以达到这样一个测试目的,当我的page cache大小未到达100MB时,且超过了存活时间1s,由于检测的不及时,导致超过存活时间的数据还是没有被刷入磁盘.
#修改系统配置[root@node01 ~]# vi /etc/sysctl.conf...#便于测试,设为104857600 100mb vm.dirty_background_bytes = 104857600#便于测试,设为104857600 100mb vm.dirty_bytes = 104857600#便于测试,设为100 1svm.dirty_writeback_centisecs = 100#便于测试,设为1500 15svm.dirty_expire_centisecs = 1500#加载系统配置[root@node01 ~]# sysctl -p
当page cache大小超过100mb前,停止写入,未超过15s,关闭电源,重启设备.
关机前page cache状态及文件大小.
[root@node01 ~]# ll -h test.txt && pcstat test.txt-rw-r--r--. 1 root root 550 Aug 1 21:02 test.txt+----------+----------------+------------+-----------+---------+| Name | Size (bytes) | Pages | Cached | Percent ||----------+----------------+------------+-----------+---------|| test.txt | 550 | 1 | 1 | 100.000 |+----------+----------------+------------+-----------+---------+
掐断电源,重启。(注意,这里不能按正常流程重启电源) 。
重启后page cache状态及文件大小.
[root@node01 ~]# ll -h test.txt && pcstat test.txt-rw-r--r--. 1 root root 0 Aug 1 21:04 test.txt+----------+----------------+------------+-----------+---------+| Name | Size (bytes) | Pages | Cached | Percent ||----------+----------------+------------+-----------+---------|| test.txt | 0 | 0 | 0 | NaN |+----------+----------------+------------+-----------+---------+
之前写入的数据全部丢失,虽然超过脏页存活时间,但是没有到检测时间,page cache内的数据丢失.
到此这篇关于Java page cache回写机制案例详解的文章就介绍到这了,更多相关Java page cache回写机制内容请搜索我以前的文章或继续浏览下面的相关文章希望大家以后多多支持我! 。
原文链接:https://blog.csdn.net/top_explore/article/details/107726941 。
最后此篇关于Java page cache回写机制案例详解的文章就讲到这里了,如果你想了解更多关于Java page cache回写机制案例详解的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我正在编写一个具有以下签名的 Java 方法。 void Logger(Method method, Object[] args); 如果一个方法(例如 ABC() )调用此方法 Logger,它应该
我是 Java 新手。 我的问题是我的 Java 程序找不到我试图用作的图像文件一个 JButton。 (目前这段代码什么也没做,因为我只是得到了想要的外观第一的)。这是我的主课 代码: packag
好的,今天我在接受采访,我已经编写 Java 代码多年了。采访中说“Java 垃圾收集是一个棘手的问题,我有几个 friend 一直在努力弄清楚。你在这方面做得怎么样?”。她是想骗我吗?还是我的一生都
我的 friend 给了我一个谜语让我解开。它是这样的: There are 100 people. Each one of them, in his turn, does the following
如果我将使用 Java 5 代码的应用程序编译成字节码,生成的 .class 文件是否能够在 Java 1.4 下运行? 如果后者可以工作并且我正在尝试在我的 Java 1.4 应用程序中使用 Jav
有关于why Java doesn't support unsigned types的问题以及一些关于处理无符号类型的问题。我做了一些搜索,似乎 Scala 也不支持无符号数据类型。限制是Java和S
我只是想知道在一个 java 版本中生成的字节码是否可以在其他 java 版本上运行 最佳答案 通常,字节码无需修改即可在 较新 版本的 Java 上运行。它不会在旧版本上运行,除非您使用特殊参数 (
我有一个关于在命令提示符下执行 java 程序的基本问题。 在某些机器上我们需要指定 -cp 。 (类路径)同时执行java程序 (test为java文件名与.class文件存在于同一目录下) jav
我已经阅读 StackOverflow 有一段时间了,现在我才鼓起勇气提出问题。我今年 20 岁,目前在我的家乡(罗马尼亚克卢日-纳波卡)就读 IT 大学。足以介绍:D。 基本上,我有一家提供簿记应用
我有 public JSONObject parseXML(String xml) { JSONObject jsonObject = XML.toJSONObject(xml); r
我已经在 Java 中实现了带有动态类型的简单解释语言。不幸的是我遇到了以下问题。测试时如下代码: def main() { def ks = Map[[1, 2]].keySet()
一直提示输入 1 到 10 的数字 - 结果应将 st、rd、th 和 nd 添加到数字中。编写一个程序,提示用户输入 1 到 10 之间的任意整数,然后以序数形式显示该整数并附加后缀。 public
我有这个 DownloadFile.java 并按预期下载该文件: import java.io.*; import java.net.URL; public class DownloadFile {
我想在 GUI 上添加延迟。我放置了 2 个 for 循环,然后重新绘制了一个标签,但这 2 个 for 循环一个接一个地执行,并且标签被重新绘制到最后一个。 我能做什么? for(int i=0;
我正在对对象 Student 的列表项进行一些测试,但是我更喜欢在 java 类对象中创建硬编码列表,然后从那里提取数据,而不是连接到数据库并在结果集中选择记录。然而,自从我这样做以来已经很长时间了,
我知道对象创建分为三个部分: 声明 实例化 初始化 classA{} classB extends classA{} classA obj = new classB(1,1); 实例化 它必须使用
我有兴趣使用 GPRS 构建车辆跟踪系统。但是,我有一些问题要问以前做过此操作的人: GPRS 是最好的技术吗?人们意识到任何问题吗? 我计划使用 Java/Java EE - 有更好的技术吗? 如果
我可以通过递归方法反转数组,例如:数组={1,2,3,4,5} 数组结果={5,4,3,2,1}但我的结果是相同的数组,我不知道为什么,请帮助我。 public class Recursion { p
有这样的标准方式吗? 包括 Java源代码-测试代码- Ant 或 Maven联合单元持续集成(可能是巡航控制)ClearCase 版本控制工具部署到应用服务器 最后我希望有一个自动构建和集成环境。
我什至不知道这是否可能,我非常怀疑它是否可能,但如果可以,您能告诉我怎么做吗?我只是想知道如何从打印机打印一些文本。 有什么想法吗? 最佳答案 这里有更简单的事情。 import javax.swin
我是一名优秀的程序员,十分优秀!