openstack通过libvirt调用qemu来启动具体的虚拟机，qemu通过librbd这个库与librados通信，而librados是ceph集群的统一API库，这样一来openstack就与ceph rbd联系起来了。具体调用流程如下图所示：

需要在ceph端进行的操作如下：

1、为ceph client创建一系列可用的pools。

    根据ceph client的需求及其分类，为client创建一系列的pools。创建pools需要根据当前集群中OSDs的数量合理的分配PGs数量以及对象复制的个数。

    #ceph osd pool create volumes 128     创建一个名字为volumes的pool且该pool中的PGs数量为128；

    ＃ceph osd pool create images 128

    #ceph osd pool create vms 128

2、为ceph client创建一系列用户及其使用集群的权限。

    ceph client不同的用户对集群有不同的使用要求，因此需要根据client用户的实际需求为其设置访问集群的权限。

    #ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes allow rwx pool=images allow rwx pool=vms'

    #ceph auth get-or-create client.glance mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=images'

3、将ceph配置文件及其ceph client用户信息分别上传给所需的client节点。

    openstack可以通过glance、cinder以及nova使用ceph，因此需要将ceph配置文件以及ceph client的权限文件上传给glance、cinder以及nova节点。其中ceph配置文件的位置位于client节点的/etc/ceph/ceph.conf下，ceph client的权限文件位于client节点的/etc/ceph目录下，对于glance节点权限文件位于/etc/ceph/ceph.client.glance.keyring，对于cinder节点权限文件位于/etc/ceph/ceph.client.cinder.keyring，对于nova节点权限文件位于/etc/ceph/ceph.client.cinder.keyring（nova节点使用cinder用户来访问ceph集群）；

    除了client普通用户使用的keyring外，还需要将ceph集群上的ceph.client.admin.keyring也上传到所有client节点的/etc/ceph/目录下；

4、glance节点的配置。

    对于glance节点需要修改glance节点的配置文件，使得glance节点可以使用ceph。glance节点的配置文件位于/etc/glance/glance-api.conf。在该文件中需要添加如下信息：

[glance_store]

default_store = rbd

store = rbd

rbd_store_ceph_conf = /etc/ceph/ceph.conf

rbd_store_user = glance

rbd_store_pool = images

rbd_store_chunk_size = 8

另外，为了支持copy-on-write clone images功能，需要在配置文件的default节处添加如下信息：

[default]

show_image_direct_url = True

另外，为了不让glance使用本地cache，需要在配置文件的paste_deploy节处设置如下信息：

[paste_deploy]

flavor = keystone

5、cinder节点配置。

    对于cinder节点需要修改cinder节点的配置文件，使得cinder节点可以使用ceph。cinder节点的配置文件位于/etc/cinder/cinder.conf。在该文件中需要添加如下信息：

#cinder volume

volume_driver = cinder.volume.drivers.RBDDriver

rbd_pool = volumes

rbd_user = cinder

rbd_secret_uuid = {uuid}

rbd_ceph_conf = /etc/ceph/ceph.conf

rbd_flatten_volume_from_snapshot = True

rbd_max_clone_depth = 5

rbd_store_chunk_size = 4

rados_connect_timeout = -1

glance_api_version = 2

设置了rbd_user和rbd_secret_uuid，则允许nova使用通过cinder使用ceph。

6、nova节点配置。

    1）需要获取到client.cinder的key值。该值可以在ceph集群中的任何节点通过如下命令获得且上传到nova节点：    

    #ceph auth get-key client.cinder | ssh {nova-ip} tee ceph.client.cinder.key

    2）需要在nova节点上使用uuidgen命令生成一个随机数：

    #uuidgen

    3）在nova节点上为libvirt使用ceph，创建secret.xml文件以及将该文件以及随机数添加到libvirt中，具体操作如下：

    #cat > secret.xml <<EOF

<secret ephemeral='no' private='no'>

    <uuid>{uuid}</uuid>

    <usage type='ceph'>

        <name>client.cinder secret</name>

    </usage>

</secret>

EOF

    #virsh secret-define --file secret.xml

    #virsh secret-set-value --secret {uuid} --base64 $(cat secret.xml)   

    4）配置nova节点的配置文件，使之可以使用ceph集群。nova节点的配置文件位于/etc/nova/目录下的nova.conf和nova-compute.conf这两个配置文件。这里我们修改nova-compute.conf这个配置文件，在该文件中添加如下内容：

[libvirt]

images_type = rbd

images_rbd_pool = vms

images_rbd_ceph_conf = /etc/ceph/ceph.conf

rbd_user = cinder

rbd_secret_uuid = {uuid}

disk_cachemodes = "network=writeback"

7、重新启动glance、cinder以及nova节点上对应的服务。

    #service glance-control api restart

    #service cinder-volume restart

    #service nova-compute restart

以上是关于openstack中glance、cinder以及nova如何与ceph rbd相结合的配置介绍。