- Java锁的逻辑(结合对象头和ObjectMonitor)
- 还在用饼状图?来瞧瞧这些炫酷的百分比可视化新图形(附代码实现)⛵
- 自动注册实体类到EntityFrameworkCore上下文,并适配ABP及ABPVNext
- 基于Sklearn机器学习代码实战
大家好,我是蓝胖子,我一直相信编程是一门实践性的技术,其中算法也不例外,初学者可能往往对它可望而不可及,觉得很难,学了又忘,忘其实是由于没有真正搞懂算法的应用场景,所以我准备出一个系列,囊括我们在日常开发中常用的算法,并结合实际的应用场景,真正的感受算法的魅力.
今天,我们就来学习下布隆过滤器的原理以及作用.
代码已经上传到github 。
https://github.com/HobbyBear/codelearning/tree/master/bloomfilter
通常我们在缓存层前面会添加一层布隆过滤器,它能够迅速的判断那些一定不在缓存中的数据,防止缓存击穿.
布隆过滤器返回false的数据一定不在缓存里,返回true的数据也可能不在缓存里。即使不能百分百判断数据是否一定存在于缓存中,它依然能够过滤大量的无效不在缓存中的数据,所以被广泛使用.
为啥不能百分百的判断数据是否一定存在,这就需要来了解下布隆过滤器的原理。在构建布隆过滤器时,会创建一个bitmap,关于bitmap的讲解可以查看我之前的文章 位图(bitmap)原理以及实现 ,使用布隆过滤器的步骤如下
1,比如一个场景,我们添加缓存时,需要先将key添加到布隆过滤器中,需要将key用多个hash函数经过多次hash,比如三次,得到3个数字a,b,c .
2, 然后将a,b,c 对应在bitmap中的bit位设置1.
3,当要从缓存中读取数据时,也是先从布隆过滤器中读取, 此时需要将要读取的缓存key也经过多个hash函数多次hash ,判断hash得到的数字对应在bitmap中的bit位是否都是1,如果有一个不为1,说明这个缓存key肯定没有添加过缓存,就不用再去请求缓存服务器了.
这里要注意的是,因为是hash函数,所以有可能key1和key2最后hash的结果是一样的,这样布隆过滤器只添加key1时,还是会在读取key2时返回true,这样还是会去读缓存服务器,即使key2并不在缓存服务器中.
并且由于在bitmap中存储的是hash后的结果,所以布隆过滤器也不能删除数据,一个好的使用方式是定时重建布隆过滤器,让旧布隆过滤器过期.
接着,我们来看下布隆过滤器的实现,我仿照java的Guava中的布隆过滤器实现写了一个golang的版本, hash函数用的murmur3 得到两个hash值,通过迭代k次hash值的效果代替了运行k次hash函数,然后将得到的结果设置到bitmap中.
需要注意的是hash.Sum128 返回的uint64,这个类型在转换成int64类型时可能会产生负数,所以我们需要将它同math.MaxInt64得到正数,然后与bitmap的大小进行取模,这样得到的数字永远是一个正数且不会超过bitmap的长度.
func (b *BloomFilter) Add(key string) {
bitSetSize := b.m
hashFunCount := b.k
hash := murmur3.New128()
hash.Write([]byte(key))
hash1, hash2 := hash.Sum128()
combinedHash := hash1
for i := 0; i < hashFunCount; i++ {
b.bitset.Set((uint64ToInt64(combinedHash) & math.MaxInt64) % bitSetSize)
combinedHash += hash2
}
}
func (b *BloomFilter) MightContain(key string) bool {
bitSetSize := b.m
hashFunCount := b.k
hash := murmur3.New128()
hash.Write([]byte(key))
hash1, hash2 := hash.Sum128()
combinedHash := hash1
for i := 0; i < hashFunCount; i++ {
if !b.bitset.Exits((uint64ToInt64(combinedHash) & math.MaxInt64) % bitSetSize) {
return false
}
combinedHash += hash2
}
return true
}
func uint64ToInt64(num uint64) int64 {
if num <= uint64(math.MaxInt64) {
return int64(num)
}
return int64(num - uint64(math.MaxInt64) + 1)
}
最后此篇关于布隆过滤器原理及实现的文章就讲到这里了,如果你想了解更多关于布隆过滤器原理及实现的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我有一个对象数组,我想在键传入“filter”过滤器时提取值。下面是我尝试过的 Controller 代码片段,但我得到的响应类型未定义。请帮我找出哪里出错了。 var states = [{"HI
如果任何 J2EE 应用程序直接访问 servlet,然后 servlet 将相同的请求转发到某个 .jsp 页面。 request.getRequestDispatcher("Login.jsp")
我有一个带有图像缩略图的表单,可以通过复选框进行选择以进行下载。我想要一个包含 jQuery 中图像的数组,用于 Ajax 调用。 2个问题: - 表格顶部有一个复选框,用于切换我想要从映射中排除的所
我必须从服务器转储数据库,将 .sql 传输到另一台服务器,然后运行以下脚本以使用此语法删除某些行: DELETE wp_posts FROM wp_posts INNER JOIN wp_postm
我想从目录中过滤掉特定类型的文件,但收到错误“ token 语法错误,删除这些 token ”: File dir = new File("c:/etc/etc"); File[] f
几乎所有的 Web 应用程序都依赖外部的输入。这些数据通常来自用户或其他应用程序(比如 web 服务)。通过使用过滤器,您能够确保应用程序获得正确的输入类型。 您应该始终对外部数据进行过滤! 输
我正在开发一个由 OData 服务提供支持的搜索功能。它将返回一个或一列标题对象作为结果。我们需要搜索的许多字段不在标题对象中。它们仅在子对象(导航属性)中。能够针对子字段执行 OData 搜索并仍然
假设我有以下模型,它有一个方法 variants(): class Example(models.Model): text = models.CharField(max_length=255)
我有一个默认的列表列表,但我基本上想这样做: myDefaultDict = filter(lambda k: len(k)>1, myDefaultDict) 除了它似乎只适用于列表。我能做什么?
我正在使用 django-filter 来输出我的模型的过滤结果。那里没有问题。下一步是添加一个分页器……尽管现在已经苦苦挣扎了好几天。 views.py: def funds_overview(re
我正在做一个概念证明,我正在试验一种奇怪的行为。 我有一个按日期字段按范围分区的表,如果我设置固定日期或由 SYSDATE 创建的日期,查询的成本会发生很大变化。 这些是解释计划: SQL> SELE
如果一个或另一个值匹配,是否可以制作一个过滤器,例如一个中性的 PropertyFilter(并传递给链中的下一个过滤器)?就像是: value1 val
我是 VBA 初学者,正在尝试根据单元格值过滤数据,经过一番谷歌搜索后,我编写了一个有效的代码 Sub FilterDepartment_Sales() Sheet6.Activate
假设我在 excel 数据透视表中有两个过滤器。 两者最初都会显示筛选列的选定范围内的所有值。 当我仅在过滤器 1 中选择几个值时,过滤器 2 仍会继续显示基础数据中所选范围内特定过滤器列中的所有值。
是否可以定义自定义 build-ins (名称不再适合)在 ftl? 由于语义前提,我不想让它成为一个函数,而是一个内置的。 最佳答案 这是不可能的,?语法是为内置函数保留的。 (顺便说一句,这意味着
我试图在 Edit | 之外添加一个链接通过插件删除wordpress管理员>用户>所有用户列表中的链接..这是我第一次尝试通过查看其他插件或搜索google来制作wordpress插件.. 我添加了
我正在尝试按照以下教程使用 django 过滤器进行分页,但该教程似乎缺少某些内容,而且我无法使用基于函数的 View 方法显示分页。 https://simpleisbetterthancomple
由于我是 Powershell 新手,因此寻求最佳实践方面的帮助, 我有一个 csv 文件,我想过滤掉 csv 中的每一行,除了包含“未安装”的行 然后,我想根据包含计算机列表的单独 csv 文件过滤
我正在尝试创建一个搜索查询,它会告诉我我作为审阅者添加到其中的打开更改,但我还没有提交最新补丁集的代码审查。这应该包括其他人已经评论过的更改,但我没有。 我能找到的最接近的是 is:reviewer
在我的 Web 应用程序中,我有 3 个主要部分 1. 客户 2. 供应商 3. 管理员 我正在使用 java session 过滤器来检查用户 session 并允许访问网站的特定部分。 因此客户只
我是一名优秀的程序员,十分优秀!