Ceph RBD  CephFS 存储

环境准备： (这里只做基础测试, ceph-manager , ceph-mon, ceph-osd 一共三台)

10.6.0.140 = ceph-manager

10.6.0.187 = ceph-mon-1

10.6.0.188 = ceph-osd-1

10.6.0.94 = node-94

 

注： ceph 对时间要求很严格， 一定要同步所有的服务器时间

一、在 manager 上面修改 /etc/hosts :

10.6.0.187 ceph-mon-1
10.6.0.188 ceph-osd-1
10.6.0.94 node-94

二、并修改各服务器上面的 hostname (说明：ceph-deploy工具都是通过主机名与其他节点通信)

hostnamectl --static set-hostname ceph-manager
hostnamectl --static set-hostname ceph-mon-1
hostnamectl --static set-hostname ceph-osd-1
hostnamectl --static set-hostname node-94

三、配置manager节点与其他节点ssh key 访问

[root@ceph-manager ~]# ssh-keygen

将key 发送到各节点中

[root@ceph-manager ~]#ssh-copy-id ceph-mon-1
[root@ceph-manager ~]#ssh-copy-id ceph-osd-1

四、在manager节点安装 ceph-deploy

[root@ceph-manager ~]#yum -y install centos-release-ceph
[root@ceph-manager ~]#yum makecache
[root@ceph-manager ~]#yum -y install ceph-deploy ntpdate

在其他各节点安装 ceph 的yum源

[root@ceph-mon-1 ~]# yum -y install centos-release-ceph
[root@ceph-mon-1 ~]# yum makecache

[root@ceph-osd-1 ~]# yum -y install centos-release-ceph
[root@ceph-osd-1 ~]# yum makecache

五、配置ceph集群

创建ceph 目录
[root@ceph-manager ~]#mkdir -p /etc/ceph
[root@ceph-manager ~]#cd /etc/ceph

创建监控节点：
[root@ceph-manager /etc/ceph]#ceph-deploy new ceph-mon-1

执行完毕会生成 ceph.conf ceph.log ceph.mon.keyring 三个文件

编辑 ceph.conf 增加 osd 节点数量
在最后增加：
osd pool default size = 1

使用ceph-deploy在所有机器安装ceph

[root@ceph-manager /etc/ceph]# ceph-deploy install ceph-manager ceph-mon-1 ceph-osd-1

如果出现错误，也可以到各节点中直接 yum -y install ceph ceph-radosgw 进行安装

初始化监控节点

[root@ceph-manager /etc/ceph]# ceph-deploy mon create-initial

 

osd 节点创建存储空间

[root@ceph-osd-1 ~]# mkdir -p /opt/osd1

在管理节点上启动 并 激活 osd 进程

[root@ceph-manager ~]# ceph-deploy osd prepare ceph-osd-1:/opt/osd1
[root@ceph-manager ~]# ceph-deploy osd activate ceph-osd-1:/opt/osd1

把管理节点的配置文件与keyring同步至其它节点

[root@ceph-manager ~]# ceph-deploy admin ceph-mon-1 ceph-osd-1

查看集群健康状态 (HEALTH_OK 表示OK)

[root@ceph-manager ~]# ceph health
HEALTH_OK

 

客户端 挂载: ceph 有多种挂载方式, rbd 块设备映射， cephfs 挂载 等

注:
在生产环境中，客户端应该对应pool的权限，而不是admin 权限

[root@ceph-manager ~]# ssh-copy-id node-94

客户端安装ceph
[root@ceph-manager ~]# ceph-deploy install node-94

或者 登陆 node-94 执行 yum -y install ceph ceph-radosgw

如果ssh 非22端口，会报错 可使用 scp 传

scp -P端口 ceph.conf node-94:/etc/ceph/
scp -P端口 ceph.client.admin.keyring node-94:/etc/ceph/

创建一个pool
[root@ceph-manager ~]# ceph osd pool create press 100
pool 'press' created

设置pool 的pgp_num
[root@ceph-manager ~]# ceph osd pool set press pgp_num 100

查看创建的pool
[root@ceph-manager ~]# ceph osd lspools
0 rbd,1 press,

设置副本数为2 (osd 必须要大于或者等于副本数，否则报错, 千万注意)
[root@ceph-manager ~]# ceph osd pool set press size 2

创建一个100G 名为 image 镜像
[root@ceph-manager ~]# rbd create -p press --size 100000 image

查看一下镜像:
[root@ceph-manager ~]# rbd -p press info image
rbd image 'image':
size 100000 MB in 25000 objects
order 22 (4096 kB objects)
block_name_prefix: rb.0.104b.74b0dc51
format: 1

 

客户端块存储挂载：
在node-94 上面 map 镜像
[root@node-94 ~]# rbd -p press map image
/dev/rbd0

格式化 image
[root@node-94 ~]# mkfs.xfs /dev/rbd0

创建挂载目录
[root@node-94 ~]# mkdir /opt/rbd

挂载 rbd
[root@node-94 ~]# mount /dev/rbd0 /opt/rbd

[root@node-94 ~]# time dd if=/dev/zero of=haha bs=1M count=1000

 

取消 map 镜像
[root@node-94 ~]# umount /opt/rbd
[root@node-94 ~]# rbd unmap /dev/rbd0

 

 

 

客户端 cephFS 文件系统 (cephFS 必须要有2个osd 才能运行，请注意)：

使用 cephFS 集群中必须有 mds 服务

创建 mds 服务 (由于机器有限就在 mon 的服务器上面 创建 mds 服务)
[root@ceph-manager ~]# ceph-deploy mds create ceph-mon-1

 

创建2个pool 做为文件系统的data 与 metadata

[root@ceph-manager ~]# ceph osd pool create cephfs_data 99
pool 'cephfs_data' created

[root@ceph-manager ~]# ceph osd pool create cephfs_metadata 99
pool 'cephfs_metadata' created

创建 文件系统：
[root@ceph-manager ~]# ceph fs new jicki cephfs_metadata cephfs_data
new fs with metadata pool 6 and data pool 5

查看所有文件系统：
[root@ceph-manager ~]# ceph fs ls
name: jicki, metadata pool: cephfs_metadata, data pools: [cephfs_data ]

删除一个文件系统
[root@ceph-manager ~]# ceph fs rm jicki --yes-i-really-mean-it

 

客户端挂载 cephFS

安装 ceph-fuse：
[root@node-94 ~]# yum install ceph-fuse -y

创建挂载目录:
[root@node-94 ~]# mkdir -p /opt/jicki
[root@node-94 ~]# ceph-fuse /opt/jicki
[root@node-94 ~]# df -h|grep ceph
ceph-fuse 1.6T 25G 1.6T 2% /opt/jicki