- Java锁的逻辑(结合对象头和ObjectMonitor)
- 还在用饼状图?来瞧瞧这些炫酷的百分比可视化新图形(附代码实现)⛵
- 自动注册实体类到EntityFrameworkCore上下文,并适配ABP及ABPVNext
- 基于Sklearn机器学习代码实战
作者:京东零售 郝彦军 。
短网址,是在长度上比较短的网址。简单来说就是帮您把冗长的URL地址缩短成8个字符以内的短网址.
当我们在腾讯、新浪发微博时,有时发很长的网址连接,但由于微博只限制140个字,所以微博就自动把您发的长网址给转换成短网址了。在 微博 和手机 短信 提醒等限制字数的地方来使用短网址,的确是一个不错的方案.
短网址通常使用“短域名/短码”的形式,打开短网址网页会直接跳转到长网址页面。例: 3.cn/CdEyF2 、 t.cn/RlB2PdD 、 dwz.cn/134128 等短网址,分别是由以下短网址服务缩短后的网址 京东短网址: http://s.3.cn/ , 新浪短网址: https://sina.lt/ ,百度短网址: http://dwz.cn/ .
短网址服务主要包含功能: 生成短网址(长网址缩短)、二维码简化、修改短网址、短网址跳转(访问短网址跳转到长网址)、唤醒APP、短网址统计 等.
1、长网址的长度太长,下面的长网址,共记312个字符,在微博场景中,限制140字符,已无法发布出去。在短信场景中,限制70字符,会产生5条短信费用,被拆分后还无法访问,严重影响用户体验。 http://wjorder-http.jd.com/scan/np?encodePrcode=2hP_lwNr&encodeShcode=2-S83&businessSource=1&scanSkuType=2&ec=1&salerId=167916&discountsUrl=%2F%2Fcoupon.m.jd.com%2Fcoupons%2Fshow.action%3FlinkKey%3DAAROH_xIpeffAs_-naABEFoePLd7eC4GJgwsPUkFtDqklu805DO1cEqFyTHVT7fbD12AHD7DElAKgh0pfvQpX-E5PbgwLQ&unionId=1001465750 。
2、长网址生成的二维码,极其复杂 ,导致手机扫描识别极其困难,低端手机甚至无法识别,严重影响用户体验.
1、使用短网址服务缩短上面长网址后的短网址( 3.cn/1jK-CDAE ),仅有13个字符,在微博、短信等场景中发送十分容易,而且简洁清晰,用户体验极好.
2、短网址生成的二维码,极其简洁 ,非常容易识别,用户体验良好.
京东短网址 http://s.3.cn/ ,是京东唯一的短网址服务平台,已应用到京东体系的各个业务场景中,日均产生1亿条带有3.cn的短消息,点击短网址还可直接唤起对应的APP和小程序.
如下图1-2是来自七鲜、金龙鱼、京东金融、蒙牛、京东等业务的营销消息,下图3-4是唤起七鲜小程序、京东APP、金融APP并跳转至落地页的截图.
图1 。
图2 。
图3 。
图4 。
1、系统首先查询长网址(长链)是否已存在于redis(jimdb)或hbase中, 。
2、如果长链已存在,则表示该长网址已经生成过,可直接返回查到的短网址,流程结束.
3、如果长链不存在,则使用长网址进行MD5随机算法生成一个长串,并分成3段,转化成62进制短码,拼装成短网址,然后查询短网址(短链)是否存在于redis或hbase中 。
4、如果短链不存在,则保存长网址到短网址的映射、以及短网址到长网址的映射,到redis或hbase中,返回短网址,流程结束.
5、如果短链已存在,说明随机算法生成的短码发生了冲突碰撞,需要循环回到步骤3,加盐重新生成一个短码,直到生成的短码检测没有冲突后,走到步骤4结束.
优势:采用随机算法,同一长链在同一账号下始终唯一,适用于长网址大量重复生成的情景,可以在步骤2快速返回,且随机算法遍历难度相对较高.
劣势:外部操作太多,性能影响较大,每次生成短网址涉及的网络请求次数至少8次(2次查redis、2次写redis、2次查hbase、2次写hbase).
且从上面步骤5可以看出,系统存在一个碰撞循环,随着短码数据量日益增加,碰撞率也会大大增加,每次碰撞都要额外增加1次redis与1次hbase查询,导致性能越来越差.
1、 从原流程可以看出,如果继续采用随机算法,很难进行优化,因此,想到了可以采用自增算法,因为自增不存在碰撞,就不需要进行双向检索存储,能够极大的降低外部请求数.
2、 分析历史数据发现,很少存在长网址被大量重复生成的情况,也就是说,可以采用自增算法的单向存储(仅存储短网址到长网址的映射),并不会增加存储量,反而会比随机算法的双向存储(存储短到长的映射,及长到短的映射,即双倍存储)节省存储量.
3、 分析历史数据发现,90%超过1个月的短网址都不再有访问量了,同时调研业务也发现,43%用户1个月有效期就够了,46%用户3个月,10%用户1年,极少有用户需要短网址永久有效.
4、 分析历史数据发现,生成的数据量很大,日均1亿+,且大多数短网址并不需要永久保存,需要做好清理规划 。
5、 分析历史数据发现,生成量远大于跳转量,跳转服务流程简单仅做查询,优化空间不大,倒是对生成服务性能要求极高,优化重点在于生成服务.
1、 系统直接采用自增算法生成了一个短码,因为自增算法没有了随机碰撞,也就不需要再检索短网址是否存在redis或hbase中.
2、 直接保存短网址到长网址的映射到redis中,因为没有了检索长网址是否存在于redis或hbase,也就不再需要保存长网址到短网址的映射,也就可以把hbase的写入改成异步写入,然后直接返回短网址,流程结束。(可以看到系统仅剩下1次同步的redis操作,流程极大简化,可以预见接口性能将得到极大提升) 。
细心的同学可能会有疑问,上面的分布式自增算法是怎么实现的呢?
目前市面上已知方案,1、通过数据库自增(并发QPS数有限)2、通过redis自增(存在单key热点问题,也就是所有的发号请求都会打到同一分片上),两种方案均会增加性能损耗,且存在扩展瓶颈,无法满足京东的海量业务请求。3、雪花算法(长度太长不符合,短网址要求长度一般在7个字符) 。
因此设计了下面的专利自增算法:(性能近乎于内存,损耗可忽略) 。
下面介绍一下核心的自增算法原理:主要采用缓存发号加内存自增方式,既无碰撞率又性能极高,主要体现在下图的三条彩色通道上面.
1、绿色通道:内存发号,速度极快,每次从缓存取出10000个无重复号码,然后在内存中便可连续生成10000个短码,因此速度比传统基于数据库及缓存自增发号方式快万倍.
2、蓝色通道:缓存取号,依赖缓存保证分布式发号无碰撞,批量发号,每1万次内存绿色通道才走一次蓝色缓存通道取号,因此性能极高 。
3、红色通道:保障机制,保障生成的号码都在短网址对应长度的号码总容量范围内,仅在初始化及总容量用尽时执行,性能损耗可忽略不计.
• 有访问会自动延期N天(7位短码总容量3万亿,过期时间30天,每天有1000亿短码可用,30天内有1次访问就会重置30天有效期,也就是说保持“热数据”始终在redis中) 。
• 连续N天无访问自动回收(7位短码,连续30天没有访问的情况下,才会过期回收,也就是说“冷数据”无访问N天后会自动过期清理回收) 。
以下统计了最近6天的各短码长度的使用分布占比情况,目前使用最多的是7位与8位短码,占比总和近90%。其中43%的用户选择了30天有效期,46%的用户选择来了100天有效期.
Ø 接口性能极大提升:tp999:从150+ms ->7ms,解决了业务调用缓慢及超时的痛点 。
Ø 单机承载量极大提升:单机QPS:从497->10184,提升了 20倍+ ,无扩容支撑了日生成量:从1千万->2亿+ 。
Ø 按百度短网址费用核算,1年可节约2700万元(证明短网址产生价值很大 。
Ø redis缓存30天热数据,缓存量 1.2TB 。
Ø Hbase存储全量数据,存储量 4TB 。
Ø 6月18日生成量4.7亿、6月日均1亿、峰值QPS 7.2万 。
Ø 6月1日跳转量1600万、6月日均800万 。
Ø 线上仅8台4核docker(优化后日常节约了760核机器,618节约3572核) 。
Ø 有访问自动延期,无访问自动过期回收,避免了死码长期占用资源消耗费用,避免短码越积越多导致的数据量太大及性能下降,系统可长期稳定运行 。
Ø 产出技术发明 专利1篇,编号:JDZL2019N5022 。
Ø 技术关键点是分布式 无碰撞 高效 短码生成算法:
Ø 该算法利用redis的incrby实现分布式号段发放(5位短码每次发放1000个号,当然6、7位短码可设置更大步长值10000个),利用本机原子id自增减少redis请求(每10000个id自增后请求1次redis),因为id始终自增所以短码无碰撞概率(id可以直接转化为62进制短码),避免了因短码碰撞带来的循环生成检索的性能开销。利用redis.set原子检测key不存在时才能设置成功实现分布式加锁,解决多线程并发重置问题,最终实现比传统自增方案快万倍的高性能无碰撞短码自增算法.
Ø 利用容量规划及过期时间机制(5位短码总容量9亿,有效期10天,每天有9千万可用),实现号段循环重复利用(10天后第1天的号段过期,可以再次使用)(当然如果是6位短码、总容量有550亿,有效期也可以更长。7位短码总容量3万亿,基本可以不用过期了),保障了系统的长期稳定运行.
Ø 宙斯平台-京麦服务市场中上架,有**470+**京东商户应用使用。 3.cn/1-jMkHBf 。
Ø 3.cn作为京东唯一的短网址服务平台,合作的应用50+(京东APP、京东金融、京东云、京东保险、七鲜、京东健康、京东物流等等)、小程序20+、合作的二级部门80+ 。
最后此篇关于京东短网址高可用提升最佳实践的文章就讲到这里了,如果你想了解更多关于京东短网址高可用提升最佳实践的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
在本教程中,您将通过示例学习 JavaScript。 JavaScript 中的提升是一种在声明之前可以使用函数或变量的行为。例如, // using test before declarin
我正在学习javascript提升功能,发现下面的代码真的很困惑: var a = 1; function b() { a = 10; return; function a()
作为一个JS学习者,我发现了一件很有趣的事情,考虑下面的代码。 this.init = function (e) { var container = e.container;
Quasiquotes 的 Scala 文档在解释 Lifting 时提到了这一点: One can also combine lifting and unquote splicing: scala
我是新来的。到目前为止,我一直在使用 MVC 模型并使用基本的 session 管理模型,即在 session 中存储一个 token 并检查每个请求。 我正在尝试对lift做同样的事情,但我的 se
我当前使用的是Elasticsearch 2.4版,希望根据查询时间的增加或加权,根据我称为“类型”的字段对结果集进行微调。 例如 如果字段“类型”的值为“船”,则将权重或增强值增加4 如果字段“类型
一年多以来,我一直在大量使用 lift、return 以及 EitherT、ReaderT< 等构造函数,等等。我读过《Real World Haskell》、《Learn You a Haskell
我浏览了电梯的MegaProtoUser遇到这种结构:??("Last Name")。谁能解释一下,这是什么意思? 谢谢解答 最佳答案 它是在对象 S 上定义的: def ??(str : Strin
我有一个Solr索引,每个文档都是一个Event的信息。在我的架构中,Schedule 是日期类型的多值字段。我想知道是否可以使用计划日期来增加文档(多值字段中的任何日期)在未来并且最接近当前日期?我
作为测试,我正在尝试使用设计人员友好的模板在 lift 中创建一个表单。我正在使用 Lift 2.5 我已经设法使用 toForm 创建了一个工作表单,但我只是在探索所有可能的方法。 我的 html
如果这个问题已经被问到,我深表歉意。 是否可以清除已经设置的条件变量? 下面是我想要实现的详细信息: void worker_thread { while (wait_for_conditio
尝试学习Js,无法理解为什么DOM元素没有获取到值: var Car = function(loc) { var obj = Object.create(Car.prototype); obj
我想知道吊装。我知道如果全局函数名称与全局变量相同,函数会覆盖变量的名称。是吗? 这是我的代码。 (function() { console.log('console.log#1 ' + glob
这个问题已经有答案了: var functionName = function() {} vs function functionName() {} (41 个回答) 已关闭 7 年前。 在javas
我正在开发 Windows 资源管理器 namespace 扩展。我的应用程序是explorer.exe在某个时候加载和使用的动态库。我需要我的 DLL 在 C:\中创建文件,有时在其他需要提升才能执
背景: GitHub 属于客户。我们团队中有一些新手,他们有时会错过基本的命名约定和其他编码协议(protocol)。所以,如果哪位前辈想在内部review,除了创建PR,别无他法。但是这个 PR 对
我们需要在运行时更改 HKEY_LOCAL_MACHINE 的一些设置。 如果需要在运行时,是否可以提示 uac 提升,或者我是否必须启动第二个提升的进程来完成“肮脏的工作”? 最佳答案 我会以提升的
看着Haskell文档,提升似乎基本上是 fmap 的概括,允许映射具有多个参数的函数。 Wikipedia然而,关于提升的文章给出了不同的观点,根据类别中的态射来定义“提升”,以及它如何与类别中的其
ggplot2 package 很容易成为我用过的最好的绘图系统,除了对于较大的数据集(约 50k 点)性能不是很好。我正在研究通过 Shiny 提供网络分析,使用 ggplot2作为绘图后端,但我对
是否可以提升 powershell 脚本的权限,以便没有管理员权限的用户可以运行该脚本?我们的网络管理员正在尝试寻找更省时的方法来完成某些任务,目前他们必须使用远程桌面...使用 PS 脚本将其自动化
我是一名优秀的程序员,十分优秀!