个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
35
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章如何用分表存储来提高性能由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
首先，童家旺介绍了他认为的什么是优化：第1、做任何事情最快的方法就是什么也不做.
▲支付宝资深数据库架构师童家旺 。
第2、不访问不必要的数据：使用B*Tree/hash等方法定位必要的数据。使用column Store或分表的方式将数据分开存储。使用Bloom filter算法排除空值查询.
第3、合理的利用硬件来提升访问效率：使用缓存消除对数据的重复访问。使用批量处理来减少磁盘的Seek操作。使用批量处理来减少网络的Round Trip。使用SSD来提升磁盘访问效率.
响应时间和吞吐量之间的关系 。
1、性能。衡量完成特定任务的速度或效率.
2、响应时间。衡量系统与用户交互式多久能够发出响应.
3、吞吐量。衡量系统在单位时间里可以完成的任务量.
▲反应时间 。
▲传统磁盘的访问特性 。
B*Tree优化数据访问介绍 。
▲B*Tree优化数据访问 。
B*Tree优化数据访问模拟场景 。
▲B*Tree优化数据访问模拟场景 。
童家旺通过阿里巴巴的真实应用场景介绍了如何用分表存储来提高性能.
1、场景介绍:
1、表VeryBigTable含有30个列 。
2、表的记录数为50,000,000条 。
3、平均每个用户为300条左右 。
4、其中有2个列属于详细描述字段,平均长度为2k 。
5、其它的列的总长度平均为250个字节 。
6、此表上的查询有两种模式 。
7、列出表中的主要信息(每次20条,不包含详细信息,90%的查询) 。
8、查看记录的详细信息(10%的查询) 。
9、保存与Oracle数据库,默认block_size(8k) 。
2、要求:
1、对此业务进行优化 。
2、分析数据,说服开发部门实施此优化 。
3、性能分析 。
1、每块记录数 。
8192 * 0.80(1) / 250 = 25.5 (主表) 。
8192 * 0.80 / 2000 = 3.27(详情表) 。
8192 * 0.80 / ( 2000 + 250 ) = 2.91 。
2、访问的逻辑IO(内存块访问) 。
List的查询代价 。
改进后=( 300/25.5 ) * y + 4 + x = 4 + x + 11.8y = 4(2) + 7(3) + 11.8 * 1.5(4) = 28.7 。
改进前=( 300/2.91 ) * y + 4 + x = 4 + x + 103.y = 4 + 7 + 103 * 1.5 = 165.5 。
3、访问涉及到的物理读(磁盘块访问) 。
List的查询代价(逻辑IO * ( 1 – 命中率 )) 。
改进后=28.7 * ( 1 – 0.85(5)) = 4.305 。
改进前=165.5 * ( 1 – 0.85 ) = 24.825 。
4、访问时间(ms) 。
改进前=逻辑IO时间+物理IO时间= 28.7 * 0.01(6) + 4.305 * 7(7) = 30.422ms 。
改进后=逻辑IO时间+物理IO时间= 165.5 * 0.01 + 24.825 * 7 = 175.43ms 。
最后此篇关于如何用分表存储来提高性能的文章就讲到这里了,如果你想了解更多关于如何用分表存储来提高性能的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
35
4
0
我正在运行一个辅助角色，并检查 Azure 上托管的存储中是否存在数据。当我将连接字符串用于经典类型的存储时，我的代码可以正常工作，但是当我连接到 V2 Azure 存储时，它会抛出此异常。 “远程服
在我的应用程序的主页上，我正在进行 AJAX 调用以获取应用程序各个部分所需的大量数据。该调用如下所示: var url = "/Taxonomy/GetTaxonomyList/" $.getJSO
大家好，我正在尝试将我的商店导入我的 Vuex Route-Gard。 路由器/auth-guard.js import {store} from '../store' export default
我正在使用 C# 控制台应用程序 (.NET Core 3.1) 从 Azure Blob 存储读取大量图像文件并生成这些图像的缩略图。新图像将保存回 Azure，并将 Blob ID 存储在我们的数
我想将 Mlflow 设置为具有以下组件: 后端存储(本地):在本地使用 SQLite 数据库存储 Mlflow 实体(run_id、params、metrics...) 工件存储(远程):使用 Az
我正在使用 C# 控制台应用程序 (.NET Core 3.1) 从 Azure Blob 存储读取大量图像文件并生成这些图像的缩略图。新图像将保存回 Azure，并将 Blob ID 存储在我们的数
我想将 Mlflow 设置为具有以下组件: 后端存储(本地):在本地使用 SQLite 数据库存储 Mlflow 实体(run_id、params、metrics...) 工件存储(远程):使用 Az
我的 Windows 计算机上的本地文件夹中有一些图像。我想将所有图像上传到同一容器中的同一 blob。 我知道如何使用 Azure Storage SDKs 上传单个文件BlockBlobServi
我尝试发出 GET 请求来获取我的 Azure Blob 存储帐户的帐户详细信息，但每次都显示身份验证失败。谁能判断形成的 header 或签名字符串是否正确或是否存在其他问题？ 代码如下: cons
这是用于编写 JSON 的 NeutralinoJS 存储 API。是否可以更新 JSON 文件(推送数据)，而不仅仅是用新的 JS 对象覆盖数据。怎么做到的？？？ // Javascript
我有一个并行阶段设置，想知道是否可以在嵌套阶段之前运行脚本，所以像这样: stage('E2E-PR-CYPRESS') { when { allOf {
我想从命令行而不是从GUI列出VirtualBox VM的详细信息。我对存储细节特别感兴趣。 当我在GUI中单击VM时，可以看到包括存储部分在内的详细信息: 但是到目前为止，我还没有找到通过命令行执行
我有大约 3500 个防洪设施，我想将它们表示为一个网络来确定流动路径(本质上是一个有向图)。我目前正在使用 SqlServer 和 CTE 来递归检查所有节点及其上游组件，只要上游路径没有 fork
谁能告诉我 jquery data() 在哪里存储数据以及何时删除以及如何删除？ 如果我用它来存储ajax调用结果，会有性能问题吗？ 例如: $("body").data("test", { myDa
有人可以建议如何为 Firebase 存储中的文件设置备份。我能够备份数据库，但不确定如何为 firebase 存储中的文件(我有图像)设置定期备份。 最佳答案 如何进行 Firebase 存储的本地
我最近开始使用 firebase 存储和 firebase 功能。现在我一直在开发从功能到存储的文件上传。 我已经让它工作了(上传完成并且文件出现在存储部分)，但是，图像永远保持这样(永远在右侧加载)
我想只允许用户将文件上传到他们自己的存储桶中，最大文件大小为 1MB，仍然允许他们删除文件。我添加了以下内容: match /myusers/{userId}/{allPaths=**} { al
使用生命周期管理策略将容器的内容从冷访问层移动到存档。我正在尝试以下策略，希望它能在一天后将该容器中的所有文件移动到存档层，但事实并非如此在职的。我设置了选择标准“一天未使用后”。 这是 json 代
对于连接到 Azure 存储端点，有 http 和 https 两个选项。 第一。 https 会带来开销，可能是 5%-10%，但我不支付同一个数据中心的费用。 第二。 http 更快，但 Auth
有人可以帮我理解这一点吗？我创建了Virtual Machine in Azure running Windows Server 2012 。我注意到 Azure 自动创建了一个存储帐户。当我进入该存
我是一名优秀的程序员,十分优秀！