- VisualStudio2022插件的安装及使用-编程手把手系列文章
- pprof-在现网场景怎么用
- C#实现的下拉多选框,下拉多选树,多级节点
- 【学习笔记】基础数据结构:猫树
前面已经搭建好了一个基础的Ceph集群,现在来看看Ceph的存储 。
当客户端需要存储一个文件到Ceph集群的时候,Ceph会把这个文件切分成多个对象,默认情况下每个对象4M,不足4M按原大小。切分之后每个对象都有一个对应的对象ID,Ceph拿到这个对象ID之后执行hash算法,去计算出这个对象应该写入到哪个PG(Placement Group) 。
PG是一些对象的集合,这些对象组成一个group,放在某些OSD上(place),组合起来就是Placement Group。将objects以PG为单位进行管理,有以下好处:
集群中的PG数目经过规划因为严格可控,使得基于PG可以精准控制单个OSD乃至整个节点的资源消耗,如CPU、内存、网络带宽等 因为集群中的PG数目远小于objects数目,并且PG数目和每个PG的身份相对固定,以PG为单位进行数据备份策略和数据同步、迁移等,相较于直接以对象为单位而言,难度更小且更加灵活 。
为了保证集群里存储的数据不丢失,Ceph采用了多副本机制,也就是将一个PG复制到多个osd节点上,当存储数据时,主osd收到写入指令后,将数据写入,并向其他的备osd(这里的数量取决于你设置的副本数)发起数据写入指令 。
强一致性会导致数据写入有较大的延迟,因此ceph进行了优化,将数据的写入分为2步执行 。
如果是读取数据呢?是怎么读的?在哪个osd读?
ceph读取数据的话永远都是从主osd节点上读取,不会从其他备osd节点读.
创建资源池的命令是 ceph osd pool create poolname [pg_num:int] [pgp_num:int] [replicated|erasure] [earsure_code_profile] 。
[root@ceph01 ~]# ceph osd pool create test_pool
pool 'test_pool' created
我们现在都知道pg是什么,用比较容易理解的话来说就相当于Linux上的目录,目录下面会存放文件嘛,只不过pg存放的是对象,那如果pg数量太少,对象数量太多,我们是不是应该创建更多的pg出来?对。就是应该创建更多的pg,但是并不是直接创建,而是当任何池的pg_num增加时,此池的每个PG都将一分为二,但它们都保持映射到其父OSD。 直到这个时候,Ceph才开始重新平衡。现在,当你增加同一个池的pgp_num值时,PG开始从父级迁移到其他OSD,并开始群集重新平衡。这就是PGP发挥重要作用的原因.
简单来说,如果只是pg的数量发生变化的话,那么这个osd上的pg会发生裂变由原来的一个一分为二,但是数据依旧保存在这个osd上,但是如果修改了pgp的数量,那么此时会开始发生迁移,之前发生裂变的pg可能会被重新调度到其他的osd上 。
当我们的存储池被创建出来之后,我们需要指定他的类型,不建议复用 。
[root@ceph01 ~]# ceph osd pool application enable test_pool rbd
enabled application 'rbd' on pool 'test_pool'
[root@ceph01 ~]# ceph osd pool create test02
pool 'test02' created
[root@ceph01 ~]# ceph osd pool application enable test02 rgw
enabled application 'rgw' on pool 'test02'[root@ceph01 ~]# ceph osd pool application enable test03 cephfs
enabled application 'cephfs' on pool 'test03'
这时候我们就有3个存储池,绑定的类型分别是 rbd,rgw,cephfs 。
我们刚刚是使用enable绑定的类型,那么同样可以使用disable去关闭掉 。
[root@ceph01 ~]# ceph osd pool application disable test03 cephfs
Error EPERM: Are you SURE? Disabling an application within a pool might result in loss of application functionality; pass --yes-i-really-mean-it to proceed anyway
这个时候他会报错,目的是让你确认,你得加上 --yes-i-really-mean-it这个才可以删除 。
[root@ceph01 ~]# ceph osd pool application disable test03 cephfs --yes-i-really-mean-it
disable application 'cephfs' on pool 'test03'
我们创建了资源池,也绑定了类型,那么现在可以使用rados来操作ceph集群了 。
[root@ceph01 ~]# rados -p test03 put test-obj /etc/hosts
-p 是指定资源池 。
put是操作 。
test-obj 是对象的id,自己指定 。
/etc/hosts 是需要上传的文件 。
整条命令就是说将本地的/etc/hosts文件上传到test03,对象的id是test-obj 。
[root@ceph01 ~]# rados -p test03 put test-obj /etc/hosts
[root@ceph01 ~]# rados -p test03 ls
test-obj
我们使用ls就可以看到我们刚刚上传的文件了 。
[root@ceph01 ~]# rados -p test03 get test-obj ./hosts
[root@ceph01 ~]# cat hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ceph01
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.101.10 ceph01
192.168.101.20 ceph02
192.168.101.30 ceph03
[root@ceph01 ~]# rados -p test03 rm test-obj
[root@ceph01 ~]# rados -p test03 ls
# 重新上传一个对象
[root@ceph01 ~]# rados -p test03 put test-obj /etc/hosts
[root@ceph01 ~]# ceph osd map test03 test-obj
osdmap e93 pool 'test03' (4) object 'test-obj' -> pg 4.d6b75f59 (4.19) -> up ([7,2,5], p7) acting ([7,2,5], p7)
我们可以看到这个对象位于 7,2,5这三个pg上,主osd是7 。
限制资源池有2种,一种是限制最大对象数,一种是限制最大字节数 。
限制资源有一点非常不友好,就是你到达了最大数量的限制之后你再去上传,他不会报错,会一直卡在那 。
# 设置最大字节为5M
[root@ceph01 ~]# ceph osd pool set-quota test03 max_bytes 5M
set-quota max_bytes = 5242880 for pool test03
取消配置只需要设置成0就可以了 。
[root@ceph01 ~]# ceph osd pool set-quota test03 max_bytes 0
# 创建一个4M的文件
[root@ceph01 ~]# dd if=/dev/zero of=./4M count=1 bs=4M
1+0 records in
1+0 records out
4194304 bytes (4.2 MB, 4.0 MiB) copied, 0.00513982 s, 816 MB/s
# 上传文件
[root@ceph01 ~]# rados -p test03 put 4M ./4M
[root@ceph01 ~]# rados -p test03 ls
test-obj
4M
[root@ceph01 ~]# ceph osd pool get-quota test03
quotas for pool 'test03':
max objects: N/A
max bytes : 5 MiB (current num bytes: 4194535 bytes)
[root@ceph01 ~]# rados -p test03 put test_put ./4M
[root@ceph01 ~]# ceph osd pool get-quota test03
quotas for pool 'test03':
max objects: N/A
max bytes : 5 MiB (current num bytes: 8388839 bytes)
是不是有疑问了,不是最大限制5M吗,这都上传了8M了啊 。
是这样的,在你的空间还没有满之前,哪怕就剩下1K了,这时候你上传多大的文件都可以传进去,但是当他已经超过之后,你就传不进去了。我们再来传一个 。
[root@ceph01 ~]# rados -p test03 put test_put02 ./4M
你会发现他一直卡在这,对吧。他不会报错,他也不会告诉你超过配额了.
配额超过之后他是不允许你执行任何上传,下载操作的。注意。下载也是不行的,你只能执行get这是没有问题的 。
ceph的快照功能有点鸡肋,原因是他并不跟虚拟机的快照功能一样,还原快照就直接回到当时的那个场景,ceph的快照是这样的.
首先你对现在的存储池打一个快照,然后你想恢复的话,需要从某个快照里面去将某个文件get到本地,然后再从本地上传到存储池内 。
# 打快照
[root@ceph01 ~]# rados -p test03 ls
test-obj
[root@ceph01 ~]# rados -p test03 mksnap snap01
created pool test03 snap snap01
[root@ceph01 ~]# rados -p test03 lssnap
1 snap01 2024.05.25 10:30:05
1 snaps
# 删除存储池的文件
[root@ceph01 ~]# rados -p test03 rm test-obj
# 查看文件,这时候他还会显示,应该是个bug,但是这个文件已经是被删掉了,不信的话可以get一下
[root@ceph01 ~]# rados -p test03 ls
test-obj
# 将文件还原
[root@ceph01 ~]# rados -p test03 -s snap01 get test-obj ./test-obj
selected snap 1 'snap01'
[root@ceph01 ~]# ls test-obj
test-obj
# 上传到存储池内
[root@ceph01 ~]# rados -p test03 put test-obj ./test-obj
[root@ceph01 ~]# rados -p test03 ls
test-obj
怎么样,现在是不是觉得非常的鸡肋。如果要还原的文件过多,那么就需要一个个下载到本地然后重新上传回去。非常之麻烦 。
当池被创建出来之后,我们需要修改他的一些属性,比如修改副本数,修改pg数等等 。
[root@ceph01 ~]# ceph osd pool get test03 all
size: 3
min_size: 2
pg_num: 32
pgp_num: 32
crush_rule: replicated_rule
hashpspool: true
nodelete: false
nopgchange: false
nosizechange: false
write_fadvise_dontneed: false
noscrub: false
nodeep-scrub: false
use_gmt_hitset: 1
fast_read: 0
pg_autoscale_mode: on
bulk: false
[root@ceph01 ~]# ceph osd pool set test03 size 4
set pool 4 size to 4
[root@ceph01 ~]# ceph osd pool get test03 size
size: 4
[root@ceph01 ~]# ceph osd pool set test03 nodelete true
set pool 4 nodelete to true
nodelete 就是这个存储池不允许被删除 。
我们来删删看 。
[root@ceph01 ~]# ceph osd pool rm test03
Error EPERM: WARNING: this will *PERMANENTLY DESTROY* all data stored in pool test03. If you are *ABSOLUTELY CERTAIN* that is what you want, pass the pool name *twice*, followed by --yes-i-really-really-mean-it.
# 他报错说要删除存储池的话需要写2次存储池的名字以及加上--yes-i-really-really-mean-it
[root@ceph01 ~]# ceph osd pool rm test03 test03 --yes-i-really-really-mean-it
Error EPERM: pool deletion is disabled; you must first set the mon_allow_pool_delete config option to true before you can destroy a pool
现在他依然报错,因为我们刚刚设置了不允许被删除,现在我们取消 。
[root@ceph01 ~]# ceph osd pool set test03 nodelete false
set pool 4 nodelete to false
# 再来删除
[root@ceph01 ~]# ceph osd pool rm test03 test03 --yes-i-really-really-mean-it
Error EPERM: pool deletion is disabled; you must first set the mon_allow_pool_delete config option to true before you can destroy a pool
可以看到他一样不让删除,他的意思是要删除的话必须 将 mon_allow_pool_delete设置为true,默认为false 。
# 修改这个值
[root@ceph01 ~]# ceph config set mon mon_allow_pool_delete true
# 删除池
[root@ceph01 ~]# ceph osd pool rm test03 test03 --yes-i-really-really-mean-it
pool 'test03' removed
纠删码池在ceph的局限性是只能做对象网关,但是他不会保存多个副本,空间利用率大大提升 。
当上传某个文件的时候,他会将文件拆成多个数据块,然后存放的时候会再补充若干个校验块,他的冗余能力为纠删码的块数。假如我们现在有一个3M的文件,被拆分成3个1M的数据块,然后还有2个校验块,如果挂掉了2个数据块,正好可以通过还剩下的1个数据块+2个校验块来还原数据。如果3个数据块都坏掉了那就还原不了 。
[root@ceph01 ~]# ceph osd pool create test04 erasure
pool 'test04' created
之前不是说创建纠删码就必须给他指定一个配置文件吗?我没指定怎么也创建出来了呢?我们来看看 。
[root@ceph01 ~]# ceph osd pool ls detail |grep erasure
pool 5 'test04' erasure profile default size 4 min_size 3 crush_rule 1 object_hash rjenkins pg_num 32 pgp_num 32 autoscale_mode on last_change 110 flags hashpspool stripe_width 8192
这里我们可以看到他使用的默认的配置文件,查看默认配置文件 。
# 查看有哪些配置文件
[root@ceph01 ~]# ceph osd erasure-code-profile ls
default
# 查看配置文件的详细配置
[root@ceph01 ~]# ceph osd erasure-code-profile get default
k=2
m=2
plugin=jerasure
technique=reed_sol_van
[root@ceph01 ~]# ceph osd erasure-code-profile set test_profile crush-failure-domain=osd k=3 m=2
[root@ceph01 ~]# ceph osd erasure-code-profile ls
default
test_profile
[root@ceph01 ~]# ceph osd pool create test05 erasure test_profile
pool 'test05' created
[root@ceph01 ~]# ceph osd pool get test05 all
size: 5
min_size: 4
pg_num: 32
pgp_num: 32
crush_rule: test05
hashpspool: true
allow_ec_overwrites: false
nodelete: false
nopgchange: false
nosizechange: false
write_fadvise_dontneed: false
noscrub: false
nodeep-scrub: false
use_gmt_hitset: 1
erasure_code_profile: test_profile
fast_read: 0
pg_autoscale_mode: on
bulk: false
最后此篇关于Ceph存储池管理的文章就讲到这里了,如果你想了解更多关于Ceph存储池管理的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我会尽可能地解释我正在做的事情,以获得最好的可能的建议/解决方案。这一切都是在 java 中完成的。 我的客户有一个基于 SWING 的桌面应用程序,它将使用 WebStart 加载。我被指派为用户帐
看来这个page包含 Azure CLI 支持的与 Azure API 管理相关的所有功能。但它没有展示如何使用 Azure CLI 管理用户、产品、证书、订阅和 API 等实体。 Azure CLI
我设置了一个 Hadoop 1.2.x 版本,双节点集群。第一节点(NameNode、Jobtracker)和第二节点(Secondary NameNode、Datanode、TaskTracker)
对于内容驱动的网站,设计好坏的关键是关系型数据库。在这个教程中,我们已经使用了MySQL关系型数据库管理系统(RDBMS)建立了我们的数据库。对于网站的开发者来说,MySQL是一个较受欢迎的选择,这
在尝试运行MariaDB之前,首先确定其当前状态,运行或关闭。 有三个选项用于启动和停止MariaDB – 运行mysqld(MariaDB脚本)。 运行mysqld_safe启动脚本。
我在管理界面中遇到 StackedInlines 前缀的问题。我会尝试发布所有必要的代码。 models.py(简要) ##### Base classes class BaseItem(models
我是新来的。到目前为止,我一直在使用 MVC 模型并使用基本的 session 管理模型,即在 session 中存储一个 token 并检查每个请求。 我正在尝试对lift做同样的事情,但我的 se
我在 win 服务中使用 NHiberante。有时我得到 System.ObjectDisposedException: Session is closed! Object name: 'ISess
我正在尝试使用 HtmlUnit 登录 Facebook 页面并查看其 HTML 内容。我正在尝试通过 HtmlUnit 填写登录凭据,但在单击提交按钮时我没有看到正在执行的 session 。 在
我正在为一个相当大的项目开发一个带有 reactjs 的前端,该项目有两个主要接口(interface)。主站点的前端和管理员的前端。 我应该将它们开发为两个不同的项目还是 reactjs 中的一个项
短版 我有一个使用插件基础结构的应用程序。插件具有可配置的属性,可帮助它们了解如何完成工作。插件按配置文件分组以定义如何完成任务,配置文件存储在由 DataContractSerializer 序列化
如何管理 iPhone 应用程序中的用户 session ?我在应用程序的第一页上从用户那里获取了用户名和密码。用户可以随时注销。如何像其他 Web 应用程序一样在 iPhone 应用程序中存储 se
我正在使用 Azure API 管理,其中包含第三方论坛 (Discourse) 的链接。 api管理提供的默认登录系统用于注册用户。我想知道是否可以对 api 管理和论坛使用单点登录,这样用户就不必
我正在使用 Wordpress 建立一个网站,并且我想利用它的 session 。但我没有找到任何插件,甚至文档。在我开始破解之前有什么建议或引用吗? 注意:我问的是 WP 是否以及如何使用标准 PH
我已阅读《Azure in Action》一书中的以下内容:“在 Windows Azure 中,状态服务器或进程外 session 状态提供程序,不支持” 谁能告诉我为什么不支持这个。他们在书中没有
我有一个内联表单集,我想排除一些模型对象在表单集中显示。 例如。模型 B 具有模型 A 的外键,因此它是 1:n(A 对象有许多 B 对象)关系。现在在 A 管理编辑页面上,我已经获得了 B 的内联。
我正在开发一个基于 session 的项目。我在想,与银行类似,我会创建一张支票并为用户提供阻止 session 超时的能力。 我正在考虑创建一个 setInterval 来检查需要身份验证的空白页面
我正在为一位拥有 Magento 商店的客户工作。里面塞满了产品,但这些产品的名称有点乱。他并没有坚持一种命名约定,而是多年来使用了不同的约定。因此,每当他使用“管理”->“管理产品”部分中的“名称”
我使用大约十几个 XSLT 文件来提供大量输出格式。目前,用户必须知道导出的文件格式的扩展名,例如RTF、HTML、TXT。 我还想使用参数来允许更多选项。如果我可以将元数据嵌入 XSL 文件本身,那
我已阅读《Azure in Action》一书中的以下内容:“在 Windows Azure 中,状态服务器或进程外 session 状态提供程序,不支持” 谁能告诉我为什么不支持这个。他们在书中没有
我是一名优秀的程序员,十分优秀!