- VisualStudio2022插件的安装及使用-编程手把手系列文章
- pprof-在现网场景怎么用
- C#实现的下拉多选框,下拉多选树,多级节点
- 【学习笔记】基础数据结构:猫树
性能测试,在编写代码后,单元测试及性能测试是重要的验收点,好的性能测试可以让我们提前发现程序中存在的问题.
在Rust中,测试通常有两部分,一部分是文档测试,一部分是模块测试。 通常我们在函数定义的开始可以看到以///三斜杠开头的就是文档注释发布的时候会将自动生成到docs.rs中,其中以///包含的代码片断会就判断为文档测试,这样子就可以把功能与测试完美的结合在一起。 以下是Lru的例子:
/// LRU 全称是Least Recently Used,即最近最久未使用的意思
/// 一个 LRU 缓存普通级的实现, 接口参照Hashmap保持一致
/// 设置容量之后将最大保持该容量大小的数据
/// 后进的数据将会淘汰最久没有被访问的数据
///
/// # Examples
///
/// ```
/// use algorithm::LruCache;
/// fn main() {
/// let mut lru = LruCache::new(3);
/// lru.insert("now", "ok");
/// lru.insert("hello", "algorithm");
/// lru.insert("this", "lru");
/// lru.insert("auth", "tickbh");
/// assert!(lru.len() == 3);
/// assert_eq!(lru.get("hello"), Some(&"algorithm"));
/// assert_eq!(lru.get("this"), Some(&"lru"));
/// assert_eq!(lru.get("now"), None);
/// }
/// ```
pub struct LruCache<K, V, S> {
/// 存储数据结构
map: HashMap<KeyRef<K>, NonNull<LruEntry<K, V>>, S>,
/// 缓存的总容量
cap: usize,
/// 双向列表的头
head: *mut LruEntry<K, V>,
/// 双向列表的尾
tail: *mut LruEntry<K, V>,
}
模块测试,在lru.rs文件底下会定义:#[cfg(test)] mod tests,这个将变成模块化测试 。
#[cfg(test)]
mod tests {
use std::collections::hash_map::RandomState;
use super::LruCache;
#[test]
fn test_insert() {
let mut m = LruCache::new(2);
assert_eq!(m.len(), 0);
m.insert(1, 2);
assert_eq!(m.len(), 1);
m.insert(2, 4);
assert_eq!(m.len(), 2);
m.insert(3, 6);
assert_eq!(m.len(), 2);
assert_eq!(m.get(&1), None);
assert_eq!(*m.get(&2).unwrap(), 4);
assert_eq!(*m.get(&3).unwrap(), 6);
}
}
我们将在执行cargo test的时候将会自动运行这些函数进行测试:可以显示如下内容:
Compiling algorithm v0.1.5 (D:\my\algorithm)
Finished test [unoptimized + debuginfo] target(s) in 1.95s
Running unittests src\lib.rs (target\debug\deps\algorithm-3ecde5aa4c430e91.exe)
running 142 tests
test arr::circular_buffer::tests::test_iter ... ok
...
test result: ok. 142 passed; 0 failed; 0 ignored; 0 measured; 0 filtered out; finished in 0.16s
Doc-tests algorithm
running 147 tests
test src\cache\lruk.rs - cache::lruk::LruKCache (line 65) ... ok
...
test result: ok. 147 passed; 0 failed; 0 ignored; 0 measured; 0 filtered out; finished in 11.03s
如果出错则会指出错误内容.
在Rust中的bench可以测出每次迭代的耗时,但bench模块需要启用#![feature(test)],即无法在stable版本的进行性能测试。 我们需要安装nightly版本,那么我们运行 。
rustup install nightly
如果需要在国内加速可以设置 。
$ENV:RUSTUP_DIST_SERVER='https://mirrors.ustc.edu.cn/rust-static'
$ENV:RUSTUP_UPDATE_ROOT='https://mirrors.ustc.edu.cn/rust-static/rustup'
安装完之后我们可以用临时启用nightly版本进行运行,当前我们建立了benches/lru.rs文件 以下是bench的部分内容 。
#![feature(test)]
extern crate test;
use algorithm::{ArcCache, LfuCache, LruCache, LruKCache};
use test::Bencher;
static BENCH_SIZE: usize = 10000;
macro_rules! do_test_bench {
($cache: expr) => {
for i in 0..BENCH_SIZE {
$cache.insert(i, i);
$cache.get(&i);
}
};
}
#[bench]
fn calc_lru(b: &mut Bencher) {
b.iter(|| {
let mut lru = LruCache::new(BENCH_SIZE / 2);
do_test_bench!(lru);
})
}
我们可以运行来进行bench测试 。
rustup run nightly cargo bench --bench lru
测试结果可以看出执行时间的变化 。
running 4 tests
test calc_arc ... bench: 4,361,427.70 ns/iter (+/- 983,661.07)
test calc_lfu ... bench: 3,170,039.17 ns/iter (+/- 571,925.64)
test calc_lru ... bench: 1,306,854.55 ns/iter (+/- 198,070.97)
test calc_lruk ... bench: 1,282,446.16 ns/iter (+/- 226,388.14)
但是我们无法看出命中率这些参数,单纯时间的消耗并缓存结构并不公平.
我们将从速度和命中率两个维度来衡量,但是数据集目前不是很优,看不到Lfu及Arc的大优势。 完整代码放置在:https://github.com/tickbh/algorithm-rs/blob/master/examples/bench_lru.rs 。
插入数据的时候就快速获取该数据 。
名字 | 耗时 | 命中率 |
---|---|---|
LruCache | 4121 | 100.00% |
LruKCache | 3787 | 100.00% |
LfuCache | 12671 | 100.00% |
ArcCache | 13953 | 100.00% |
插入数据的时候就获取之前插入的随机数据 。
名字 | 耗时 | 命中率 |
---|---|---|
LruCache | 3311 | 77.27% |
LruKCache | 4040 | 77.47% |
LfuCache | 10268 | 93.41% |
ArcCache | 10907 | 89.92% |
相对来说,在非高频的场景中,Lfu需要维护频次的列表信息,耗时会Lru高很多,但是高频的访问场景中命中率的提高相对于cpu的消耗是可以接受的.
此处编写测试的时候不想大量的重复代码,且我们的实例并没有trait化,此处我们用的是运用宏处理来指的处理:
macro_rules! do_test_bench {
($name: expr, $cache: expr, $num: expr, $evict: expr, $data: expr) => {
let mut cost = vec![];
let now = Instant::now();
let mut all = 0;
let mut hit = 0;
for v in $data {
if v.1 == 0 {
all += 1;
if $cache.get(&v.0).is_some() {
hit += 1;
}
} else {
$cache.insert(v.0, v.1);
}
}
cost.push(now.elapsed().as_micros());
println!("|{}|{}|{:.2}%|", $name, cost.iter().map(|v| v.to_string()).collect::<Vec<_>>().join("\t"), hit as f64 * 100.0 / all as f64);
};
}
后续调用均可调用该宏进行处理:
fn do_bench(num: usize) {
let evict = num * 2;
let mut lru = LruCache::<usize, usize, RandomState>::new(num);
let mut lruk = LruKCache::<usize, usize, RandomState>::new(num);
let mut lfu = LfuCache::<usize, usize, RandomState>::new(num);
let mut arc = ArcCache::<usize, usize, RandomState>::new(num / 2);
println!("|名字|耗时|命中率|");
println!("|---|---|---|");
// let data = build_freq_data(evict);
let data = build_high_freq_data(evict);
// let data = build_order_data(evict);
do_test_bench!("LruCache", lru, num, evict, &data);
do_test_bench!("LruKCache", lruk, num, evict, &data);
do_test_bench!("LfuCache", lfu, num, evict, &data);
do_test_bench!("ArcCache", arc, num, evict, &data);
}
编写代码尽量的不要过早优化,先实现完整功能,然后再根据火焰图耗时占比来进行热点函数优化。所以此时我们需要实现火焰图的显示:
安装火焰图https://github.com/flamegraph-rs/flamegraph 。
cargo install flamegraph
在这里我使用的wsl启用的debian系统,安装perf 。
sudo apt install -y linux-perf
然后安装完之后就可以执行:
cargo flamegraph --example bench_lru
如果出现以下提前错误,则证明没有正确的连接perf版本,可以拷贝一个或者建一个软连接 。
/usr/bin/perf: line 13: exec: perf_5.15.133: not found
E: linux-perf-5.15.133 is not installed.
那么用如下的解决方案:
cp /usr/bin/perf_5.10 /usr/bin/perf_5.15.133
如果是macOs需要安装dtrace,如果未安装直接进行安装即可 。
brew install dtrace
此处需注意,macOs权限控制,需要用sudo权限.
然后运行完之后就可以得到一个flamegraph.svg的火焰图就可以查看耗时的程序了.
好的测试用例及性能测试是对一个库的稳定及优秀的重要标准,尽量的覆盖全的单元测试,能及早的发现bug,使程序更稳定.
最后此篇关于Rust性能分析之测试及火焰图,附(lru,lfu,arc)测试的文章就讲到这里了,如果你想了解更多关于Rust性能分析之测试及火焰图,附(lru,lfu,arc)测试的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
题目地址:https://leetcode.com/problems/lru-cache/ 题目描述 Design and implement a data structure for Least
我使用 redis 作为数据存储而不是缓存,但是设置了 maxmemory 限制,据我了解,maxmemory 指定了 redis 可以使用的 RAM,如果达到内存限制,它不应该将数据交换回磁盘。 我
假设redis 实例中的所有键都设置了过期时间,volatile-lru 和allkeys-lru 是相似的。但是,当删除 key 时,两者之间是否存在显着的性能差异? 奖励问题: 在配置了 allk
LRU-K 是一种缓存淘汰算法,旨在改进传统的LRU(Least Recently Used,最近最少使用)算法的性能。将其中高频的数据达到K次访问移入到另一个队列进行保护。 算法思想 LR
1.题目 请你设计并实现一个满足 LRU (最近最少使用) 缓存 约束的数据结构。 实现 LRUCache 类: ① LRUCache(int capacity) 以正整数作为容量 capacity
如果 memcached 中的某个项目设置为永不过期,它是否免于 LRU 驱逐? 我见过的文档并没有清楚地描绘出哪个优先。在我看来,让 LRU 仅适用于过期 > 0 的项目是理想的(可能在内部非常复杂
当 memcache 中可用内存已满时,memcache 使用 LRU(最近使用的)算法来释放内存。 我的问题是 LRU 算法是否会删除在一段时间内(最近一次使用)未使用的条目而不是过期的条目? 即将
我在java中使用LRU缓存并覆盖了removeEldest。 @Override protected boolean removeEldestEntry (Map.Entry eldest) {
我前段时间已经发帖询问LRU缓存的良好设计(C++)。您可以在此处找到问题、答案和一些代码: Better understanding the LRU algorithm 我现在尝试对这段代码进行多线
我正在尝试使用这个 youtube video 自学 LRU 算法.在下面的示例 ( taken from here ) 中,为什么 0 被 3 代替。不应该是 4 被 3 代替,因为 4 是最少使用
我正在尝试使用 Caffeine 作为 LRU 缓存,因此首先添加的条目将首先被逐出。运行这段代码: final Cache map = Caffeine.newBuilder()
我对算法LRU有一点疑问。如果您有一个包含四个 block 的缓存,您需要多少位来实现该算法? 最佳答案 假设您指的是 4 路组相联缓存: “完美”的 LRU 本质上是按照使用顺序为每一行分配一个准确
我有两种类型的 Redis 键:post:{pid} 和 comment:{cid}。 我想存储最多 100 条记录的任一类型的缓存。 例如我有 100 条帖子记录和 50 条评论记录。当评论记录到来
我正在使用 Swift 构建一个应用程序,我想在我的应用程序中使用 LRU 缓存。我实现了一个简单的 LRUCache在 Swift 中,但后来我发现,由于它已经附带了 Dictionary 和 Ar
现在软件或者网页的并发量越来越大了,大量请求直接操作数据库会对数据库造成很大的压力,处理大量连接和请求就会需要很长时间,但是实际中百分之80的数据是很少更改的,这样就可以引入缓存来进行读取,减少数据
我有一些看起来像这样的代码: from functools import lru_cache @lru_cache() def get_cheese(type): print('{}? We\
我有一个规范,我试图定义一个 LRU 缓存系统,我遇到的一个问题是如何从结构键/值对(基本上是字典或哈希映射)中删除值其他语言)。 到目前为止,这是规范本身(不完整): EXTENDS Integer
如何使用 Erlang 实现 LRU 缓存? LRU Cache Wiki 最受关注的 Github 项目是 fogfish/cache ,但分段表不太适合我的数据。 barrel-db/erlang
我正在制作一个 Android 应用程序,其中有带有缩略图的新闻文章。这些缩略图从网络加载并存储在 LruCache 中,其中 URL 作为键,位图作为值。 private LruCache tCac
这个问题已经有答案了: How would you implement an LRU cache in Java? (21 个回答) 已关闭 5 年前。 我想仅使用 Java 内置的数据结构在 Jav
我是一名优秀的程序员,十分优秀!