Ceph--分布式存儲

一、存儲基礎(chǔ)

1.單機(jī)存儲設(shè)備

●DAS（直接附加存儲，是直接接到計算機(jī)的主板總線上去的存儲）
IDE、SATA、SCSI、SAS、USB 接口的磁盤
所謂接口就是一種存儲設(shè)備驅(qū)動下的磁盤設(shè)備，提供塊級別的存儲

●NAS（網(wǎng)絡(luò)附加存儲，是通過網(wǎng)絡(luò)附加到當(dāng)前主機(jī)文件系統(tǒng)之上的存儲）
NFS、CIFS、FTP
文件系統(tǒng)級別的存儲，本身就是一個做好的文件系統(tǒng)，通過nfs接口在用戶空間輸出后，客戶端基于內(nèi)核模塊與遠(yuǎn)程主機(jī)進(jìn)行網(wǎng)絡(luò)通信，把它轉(zhuǎn)為好像本地文件系統(tǒng)一樣來使用，這種存儲服務(wù)是沒辦法對它再一次格式化創(chuàng)建文件系統(tǒng)塊的

●SAN（存儲區(qū)域網(wǎng)絡(luò)）
SCSI協(xié)議（只是用來傳輸數(shù)據(jù)的存取操作，物理層使用SCSI線纜來傳輸）、FCSAN（物理層使用光纖來傳輸）、iSCSI（物理層使用以太網(wǎng)來傳輸）
也是一種網(wǎng)絡(luò)存儲，但不同之處在于SAN提供給客戶端主機(jī)使用的接口是塊級別的存儲

2.單機(jī)存儲的問題

●存儲處理能力不足
傳統(tǒng)的IDE的IO值是100次/秒，SATA固態(tài)磁盤500次/秒，固態(tài)硬盤達(dá)到2000-4000次/秒。即使磁盤的IO能力再大數(shù)十倍，也不夠抗住網(wǎng)站訪問高峰期數(shù)十萬、數(shù)百萬甚至上億用戶的同時訪問，這同時還要受到主機(jī)網(wǎng)絡(luò)IO能力的限制。

●存儲空間能力不足
單塊磁盤的容量再大，也無法滿足用戶的正常訪問所需的數(shù)據(jù)容量限制。

●單點故障問題
單機(jī)存儲數(shù)據(jù)存在單點故障問題

3.商業(yè)存儲解決方案

EMC、NetAPP、IBM、DELL、華為、浪潮

4.分布式存儲（軟件定義的存儲 SDS）

Ceph、TFS、FastDFS、MooseFS（MFS）、HDFS、GlusterFS（GFS）
存儲機(jī)制會把數(shù)據(jù)分散存儲到多個節(jié)點上，具有高擴(kuò)展性、高性能、高可用性等優(yōu)點。

5.分布式存儲的類型

●塊存儲（例如硬盤，一般是一個存儲被一個服務(wù)器掛載使用，適用于容器或虛擬機(jī)存儲卷分配、日志存儲、文件存儲）
就是一個裸設(shè)備，用于提供沒有被組織過的存儲空間，底層以分塊的方式來存儲數(shù)據(jù)

●文件存儲（例如NFS，解決塊存儲無法共享問題，可以一個存儲被多個服務(wù)器同時掛載，適用于目錄結(jié)構(gòu)的存儲、日志存儲）
是一種數(shù)據(jù)的組織存放接口，一般是建立在塊級別的存儲結(jié)構(gòu)之上，以文件形式來存儲數(shù)據(jù)，而文件的元數(shù)據(jù)和實際數(shù)據(jù)是分開存儲的

●對象存儲（例如OSS，一個存儲可以被多服務(wù)同時訪問，具備塊存儲的高速讀寫能力，也具備文件存儲共享的特性，適用圖片存儲、視頻存儲）
基于API接口提供的文件存儲，每一個文件都是一個對象，且文件大小各不相同的，文件的元數(shù)據(jù)和實際數(shù)據(jù)是存放在一起的

二、Ceph 概述

1.Ceph 簡介

Ceph使用C++語言開發(fā)，是一個開放、自我修復(fù)和自我管理的開源分布式存儲系統(tǒng)。具有高擴(kuò)展性、高性能、高可靠性的優(yōu)點。

Ceph目前已得到眾多云計算廠商的支持并被廣泛應(yīng)用。RedHat及OpenStack，Kubernetes都可與Ceph整合以支持虛擬機(jī)鏡像的后端存儲。
粗略估計，我國70%—80%的云平臺都將Ceph作為底層的存儲平臺，由此可見Ceph儼然成為了開源云平臺的標(biāo)配。目前國內(nèi)使用Ceph搭建分布式存儲系統(tǒng)較為成功的企業(yè)有華為、阿里、中興、華三、浪潮、中國移動、網(wǎng)易、樂視、360、星辰天合存儲、杉巖數(shù)據(jù)等。

2.Ceph 優(yōu)勢

●高擴(kuò)展性：去中心化，支持使用普通X86服務(wù)器，支持上千個存儲節(jié)點的規(guī)模，支持TB到EB級的擴(kuò)展。
●高可靠性：沒有單點故障，多數(shù)據(jù)副本，自動管理，自動修復(fù)。
●高性能：摒棄了傳統(tǒng)的集中式存儲元數(shù)據(jù)尋址的方案，采用 CRUSH 算法，數(shù)據(jù)分布均衡，并行度高。
●功能強(qiáng)大：Ceph是個大一統(tǒng)的存儲系統(tǒng)，集塊存儲接口（RBD）、文件存儲接口（CephFS）、對象存儲接口（RadosGW）于一身，因而適用于不同的應(yīng)用場景。

3.Ceph 架構(gòu)

自下向上，可以將Ceph系統(tǒng)分為四個層次:

●RADOS 基礎(chǔ)存儲系統(tǒng)（Reliab1e，Autonomic，Distributed object store，即可靠的、自動化的、分布式的對象存儲）
RADOS是Ceph最底層的功能模塊，是一個無限可擴(kuò)容的對象存儲服務(wù)，能將文件拆解成無數(shù)個對象（碎片）存放在硬盤中，大大提高了數(shù)據(jù)的穩(wěn)定性。它主要由OSD和Monitor兩個組件組成，OSD和Monitor都可以部署在多臺服務(wù)器中，這就是ceph分布式的由來，高擴(kuò)展性的由來。

●LIBRADOS 基礎(chǔ)庫
Librados提供了與RADOS進(jìn)行交互的方式，并向上層應(yīng)用提供Ceph服務(wù)的API接口，因此上層的RBD、RGW和CephFS都是通過Librados訪問的，目前提供PHP、Ruby、Java、Python、Go、C和C++支持，以便直接基于RADOS（而不是整個Ceph）進(jìn)行客戶端應(yīng)用開發(fā)。

●高層應(yīng)用接口：包括了三個部分
1）對象存儲接口 RGW（RADOS Gateway）
網(wǎng)關(guān)接口，基于Librados開發(fā)的對象存儲系統(tǒng)，提供S3和Swift兼容的RESTful API接口。

2）塊存儲接口 RBD（Reliable Block Device）
基于Librados提供塊設(shè)備接口，主要用于Host/VM。

3）文件存儲接口 CephFS（Ceph File System）
Ceph文件系統(tǒng)，提供了一個符合POSIX標(biāo)準(zhǔn)的文件系統(tǒng)，它使用Ceph存儲集群在文件系統(tǒng)上存儲用戶數(shù)據(jù)。基于Librados提供的分布式文件系統(tǒng)接口。

●應(yīng)用層：基于高層接口或者基礎(chǔ)庫Librados開發(fā)出來的各種APP，或者Host、VM等諸多客戶端

4.Ceph 核心組件

Ceph是一個對象式存儲系統(tǒng)，它把每一個待管理的數(shù)據(jù)流（如文件等數(shù)據(jù)）切分為一到多個固定大小（默認(rèn)4兆）的對象數(shù)據(jù)（Object），并以其為原子單元（原子是構(gòu)成元素的最小單元）完成數(shù)據(jù)的讀寫。

●OSD（Object Storage Daemon，守護(hù)進(jìn)程 ceph-osd）
是負(fù)責(zé)物理存儲的進(jìn)程，一般配置成和磁盤一一對應(yīng)，一塊磁盤啟動一個OSD進(jìn)程。主要功能是存儲數(shù)據(jù)、復(fù)制數(shù)據(jù)、平衡數(shù)據(jù)、恢復(fù)數(shù)據(jù)，以及與其它OSD間進(jìn)行心跳檢查，負(fù)責(zé)響應(yīng)客戶端請求返回具體數(shù)據(jù)的進(jìn)程等。通常至少需要3個OSD來實現(xiàn)冗余和高可用性。

●PG（Placement Group 歸置組）
PG 是一個虛擬的概念而已，物理上不真實存在。它在數(shù)據(jù)尋址時類似于數(shù)據(jù)庫中的索引：Ceph 先將每個對象數(shù)據(jù)通過HASH算法固定映射到一個 PG 中，然后將 PG 通過 CRUSH 算法映射到 OSD。

●Pool
Pool 是存儲對象的邏輯分區(qū)，它起到 namespace 的作用。每個 Pool 包含一定數(shù)量（可配置）的 PG。Pool 可以做故障隔離域，根據(jù)不同的用戶場景統(tǒng)一進(jìn)行隔離。

#Pool中數(shù)據(jù)保存方式支持兩種類型：
●多副本（replicated）：類似 raid1，一個對象數(shù)據(jù)默認(rèn)保存 3 個副本，放在不同的 OSD
●糾刪碼（Erasure Code）：類似 raid5，對 CPU 消耗稍大，但是節(jié)約磁盤空間，對象數(shù)據(jù)保存只有 1 個副本。由于Ceph部分功能不支持糾刪碼池，此類型存儲池使用不多

#Pool、PG 和 OSD 的關(guān)系：
一個Pool里有很多個PG；一個PG里包含一堆對象，一個對象只能屬于一個PG；PG有主從之分，一個PG分布在不同的OSD上（針對多副本類型）

●Monitor（守護(hù)進(jìn)程 ceph-mon）
用來保存OSD的元數(shù)據(jù)。負(fù)責(zé)維護(hù)集群狀態(tài)的映射視圖（Cluster Map：OSD Map、Monitor Map、PG Map 和 CRUSH Map），維護(hù)展示集群狀態(tài)的各種圖表， 管理集群客戶端認(rèn)證與授權(quán)。一個Ceph集群通常至少需要 3 或 5 個（奇數(shù)個）Monitor 節(jié)點才能實現(xiàn)冗余和高可用性，它們通過 Paxos 協(xié)議實現(xiàn)節(jié)點間的同步數(shù)據(jù)。

●Manager（守護(hù)進(jìn)程 ceph-mgr）
負(fù)責(zé)跟蹤運(yùn)行時指標(biāo)和 Ceph 集群的當(dāng)前狀態(tài)，包括存儲利用率、當(dāng)前性能指標(biāo)和系統(tǒng)負(fù)載。為外部監(jiān)視和管理系統(tǒng)提供額外的監(jiān)視和接口，例如 zabbix、prometheus、 cephmetrics 等。一個 Ceph 集群通常至少需要 2 個 mgr 節(jié)點實現(xiàn)高可用性，基于 raft 協(xié)議實現(xiàn)節(jié)點間的信息同步。

●MDS（Metadata Server，守護(hù)進(jìn)程 ceph-mds）
是 CephFS 服務(wù)依賴的元數(shù)據(jù)服務(wù)。負(fù)責(zé)保存文件系統(tǒng)的元數(shù)據(jù)，管理目錄結(jié)構(gòu)。對象存儲和塊設(shè)備存儲不需要元數(shù)據(jù)服務(wù)；如果不使用 CephFS 可以不安裝。

5.OSD 存儲引擎

OSD 有兩種方式管理它們存儲的數(shù)據(jù)。在 Luminous 12.2.z 及以后的發(fā)行版中，默認(rèn)（也是推薦的）后端是 BlueStore。在 Luminous 發(fā)布之前， 默認(rèn)是 FileStore， 也是唯一的選項。

●Filestore
FileStore是在Ceph中存儲對象的一個遺留方法。它依賴于一個標(biāo)準(zhǔn)文件系統(tǒng)（只能是XFS)，并結(jié)合一個鍵/值數(shù)據(jù)庫（傳統(tǒng)上是LevelDB，現(xiàn)在BlueStore是RocksDB），用于保存和管理元數(shù)據(jù)。

FileStore經(jīng)過了良好的測試，在生產(chǎn)中得到了廣泛的應(yīng)用。然而，由于它的總體設(shè)計和對傳統(tǒng)文件系統(tǒng)的依賴，使得它在性能上存在許多不足。

●Bluestore
從 Ceph 12.2.0（Luminous） 版本開始的。在 Luminous 版本中，BlueStore 被引入作為一種新的、高性能的 OSD 存儲引擎，以替代舊的 FileStore 引擎。

在 Ceph 中，BlueStore 可以提供更快的響應(yīng)時間和更高的數(shù)據(jù)吞吐量，同時也具有更好的可靠性和穩(wěn)定性。相比之下，舊的 FileStore 存儲引擎通常需要更多的 CPU 和內(nèi)存資源，對 IO 延遲的敏感度也較高。

FileStore 將對象存儲為塊設(shè)備基礎(chǔ)上的文件系統(tǒng)（通常是 XFS）中的文件。

BlueStore 將對象直接存儲在原始塊設(shè)備上，免除了對文件系統(tǒng)層的需要，提高了讀寫操作速度，通過直接操作底層塊設(shè)備來管理數(shù)據(jù)，而不是傳統(tǒng)的文件系統(tǒng)。

這種方法提供了更好的性能和可靠性，因為可以將數(shù)據(jù)劃分為較小的塊并使用校驗和來檢測錯誤。此外，BlueStore可以直接與Solid State Drive（SSD）交互，并利用其快速讀寫速度。

BlueStore還具有可擴(kuò)展性，可以處理數(shù)百萬個物理盤和千億個對象。它實現(xiàn)了動態(tài)負(fù)載平衡和自動恢復(fù)機(jī)制，以確保高可用性和數(shù)據(jù)可靠性。

6.Ceph 數(shù)據(jù)的存儲過程

1）客戶端從 mon 獲取最新的 Cluster Map

2）在 Ceph 中，一切皆對象。Ceph 存儲的數(shù)據(jù)都會被切分成為一到多個固定大小的對象（Object）。Object size 大小可以由管理員調(diào)整，通常為 2M 或 4M。
每個對象都會有一個唯一的 OID，由 ino 與 ono 組成：
●ino ：即是文件的 FileID，用于在全局唯一標(biāo)識每一個文件
●ono ：則是分片的編號
比如：一個文件 FileID 為 A，它被切成了兩個對象，一個對象編號0，另一個編號1，那么這兩個文件的 oid 則為 A0 與 A1。
OID 的好處是可以唯一標(biāo)示每個不同的對象，并且存儲了對象與文件的從屬關(guān)系。由于 Ceph 的所有數(shù)據(jù)都虛擬成了整齊劃一的對象，所以在讀寫時效率都會比較高。

3）通過對 OID 使用 HASH 算法得到一個16進(jìn)制的特征碼，用特征碼與 Pool 中的 PG 總數(shù)取余，得到的序號則是 PGID 。
即 Pool_ID + HASH(OID) % PG_NUM 得到 PGID

4）PG 會根據(jù)設(shè)置的副本數(shù)量進(jìn)行復(fù)制，通過對 PGID 使用 CRUSH 算法算出 PG 中目標(biāo)主和次 OSD 的 ID，存儲到不同的 OSD 節(jié)點上（其實是把 PG 中的所有對象存儲到 OSD 上）。
即通過 CRUSH(PGID) 得到將 PG 中的數(shù)據(jù)存儲到各個 OSD 組中
CRUSH 是 Ceph 使用的數(shù)據(jù)分布算法，類似一致性哈希，讓數(shù)據(jù)分配到預(yù)期的地方。

7.Ceph 版本發(fā)行生命周期

Ceph從Nautilus版本（14.2.0）開始，每年都會有一個新的穩(wěn)定版發(fā)行，預(yù)計是每年的3月份發(fā)布，每年的新版本都會起一個新的名稱（例如，“Mimic”）和一個主版本號（例如，13代表Mimic，因為“M”是字母表的第13個字母）。

版本號的格式為 x.y.z，x 表示發(fā)布周期（例如，13 代表 Mimic，17 代表 Quincy），y 表示發(fā)布版本類型，即
● x.0.z ：y等于 0，表示開發(fā)版本
● x.1.z ：y等于 1，表示發(fā)布候選版本（用于測試集群）
● x.2.z ：y等于 2，表示穩(wěn)定/錯誤修復(fù)版本（針對用戶）

8.Ceph 集群部署

目前 Ceph 官方提供很多種部署 Ceph 集群的方法，常用的分別是 ceph-deploy，cephadm 和 二進(jìn)制：
●ceph-deploy ：一個集群自動化部署工具，使用較久，成熟穩(wěn)定，被很多自動化工具所集成，可用于生產(chǎn)部署。

●cephadm ：從 Octopus 和較新的版本版本后使用 cephadm 來部署 ceph 集群，使用容器和 systemd 安裝和管理 Ceph 集群。目前不建議用于生產(chǎn)環(huán)境。

●二進(jìn)制：手動部署，一步步部署 Ceph 集群，支持較多定制化和了解部署細(xì)節(jié)，安裝難度較大。

三、基于 ceph-deploy 部署 Ceph 集群

Ceph 生產(chǎn)環(huán)境推薦：

1、存儲集群全采用萬兆網(wǎng)絡(luò)
2、集群網(wǎng)絡(luò)（cluster-network，用于集群內(nèi)部通訊）與公共網(wǎng)絡(luò)（public-network，用于外部訪問Ceph集群）分離
3、mon、mds 與 osd 分離部署在不同主機(jī)上（測試環(huán)境中可以讓一臺主機(jī)節(jié)點運(yùn)行多個組件）
4、OSD 使用 SATA 亦可
5、根據(jù)容量規(guī)劃集群
6、至強(qiáng)E5 2620 V3或以上 CPU，64GB或更高內(nèi)存
7、集群主機(jī)分散部署，避免機(jī)柜的電源或者網(wǎng)絡(luò)故障

Ceph 環(huán)境規(guī)劃

主機(jī)名    Public網(wǎng)絡(luò)     Cluster網(wǎng)絡(luò)        角色
admin   192.168.10.120                  admin（管理節(jié)點負(fù)責(zé)集群整體部署）、client
node01  192.168.10.121   192.168.100.11   mon、mgr、osd(/dev/sdb、/dev/sdc、/dev/sdd)
node02  192.168.10.122   192.168.100.12   mon,mgr,osd（/dev/sdb、/dev/sdc、/dev/sdd)
node03  192.168.10.123   192.168.100.13   mon,osd（/dev/sdb、/dev/sdc、/dev/sdd）
client    192.168.10.124                  client

環(huán)境準(zhǔn)備
可選步驟：創(chuàng)建 Ceph 的管理用戶

useraddcephadm
passwdcephadm
visudo
cephadmALL=(root) NOPASSWD:ALL

1.關(guān)閉 selinux 與防火墻

systemctl disable --now firewalld
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config

2.根據(jù)規(guī)劃設(shè)置主機(jī)名

hostnamectl set-hostname admin
hostnamectl set-hostname node01
hostnamectl set-hostname node02
hostnamectl set-hostname node03
hostnamectl set-hostname client

3.配置 hosts 解析

cat >> /etc/hosts << EOF
192.168.10.120 admin
192.168.10.121 node01
192.168.10.122 node02
192.168.10.123 node03
192.168.10.124 client
EOF

4.安裝常用軟件和依賴包

wget-O/etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum-yinstall epel-release
yum-yinstall yum-plugin-prioritiesyum-utilsntpdate python-setuptoolspython-pipgcc gcc-c++ autoconf libjpeg libjpeg-devellibpng libpng-develfreetype freetype-devellibxml2 libxml2-develzlib zlib-develglibc glibc-develglib2 glib2-develbzip2 bzip2-develzip unzip ncurses ncurses-develcurlcurl-devele2fsprogs e2fsprogs-develkrb5-devellibidn libidn-developenssl openssh openssl-develnss_ldap openldap openldap-developenldap-clientsopenldap-serverslibxslt-devellibevent-develntp libtool-ltdlbison libtool vim-enhancedpythonwgetlsof iptraf strace lrzsz kernel-develkernel-headerspam-develtcl tk cmake ncurses-develbison setuptool popt-develnet-snmpscreen perl-develpcre-develnet-snmpscreen tcpdump rsync sysstatmaniptables sudo libconfig git bind-utilstmux elinks numactl iftop bwm-ngnet-toolsexpect snappy leveldb gdisk python-argparsegperftools-libsconntrack ipset jq libseccomp socat chrony sshpass

5.在 admin 管理節(jié)點配置 ssh 免密登錄所有節(jié)點

ssh-keygen -t rsa -P''-f ~/.ssh/id_rsasshpass -p'abc1234'ssh-copy-id -o StrictHostKeyChecking=noroot@adminsshpass -p'abc1234'ssh-copy-id -o StrictHostKeyChecking=noroot@node01sshpass -p'abc1234'ssh-copy-id -o StrictHostKeyChecking=noroot@node02sshpass -p'abc1234'ssh-copy-id -o StrictHostKeyChecking=noroot@node03

6.配置時間同步

systemctl enable --now chronydtimedatectl set-ntptrue          #開啟 NTPtimedatectl set-timezone Asia/Shanghai    #設(shè)置時區(qū)chronyc -a makestep              #強(qiáng)制同步下系統(tǒng)時鐘timedatectl status              #查看時間同步狀態(tài)chronyc sources -v              #查看 ntp 源服務(wù)器信息timedatectl set-local-rtc0          #將當(dāng)前的UTC時間寫入硬件時鐘

#重啟依賴于系統(tǒng)時間的服務(wù)

systemctl restart rsyslog
systemctl restart crond

#關(guān)閉無關(guān)服務(wù)

systemctl disable --now postfix

7.配置 Ceph yum源

wget https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm --no-check-certificate

rpm -ivh ceph-release-1-1.el7.noarch.rpm --force

8、執(zhí)行完上面所有的操作之后重啟所有主機(jī)（可選）

sync
reboot

四、部署 Ceph 集群

1.為所有節(jié)點都創(chuàng)建一個 Ceph 工作目錄，后續(xù)的工作都在該目錄下進(jìn)行

mkdir -p /etc/ceph

2.安裝 ceph-deploy 部署工具

cd /etc/ceph
yum install -y ceph-deploy

ceph-deploy --version

3.在管理節(jié)點為其它節(jié)點安裝 Ceph 軟件包

#ceph-deploy 2.0.1 默認(rèn)部署的是 mimic 版的 Ceph，若想安裝其他版本的 Ceph，可以用 --

release 手動指定版本
cd /etc/ceph
ceph-deploy install --release nautilus node0{1..3} admin

#ceph-deploy install 本質(zhì)就是在執(zhí)行下面的命令：
yum clean all
yum -y install epel-release
yum -y install yum-plugin-priorities
yum -y install ceph-release ceph ceph-radosgw

#也可采用手動安裝 Ceph 包方式，在其它節(jié)點上執(zhí)行下面的命令將 Ceph 的安裝包都部署上：
sed -i 's#download.ceph.com#mirrors.tuna.tsinghua.edu.cn/ceph#' /etc/yum.repos.d/ceph.repo
yum install -y ceph-mon ceph-radosgw ceph-mds ceph-mgr ceph-osd ceph-common ceph

添加網(wǎng)絡(luò)適配器

4.生成初始配置

#在管理節(jié)點運(yùn)行下述命令，告訴 ceph-deploy 哪些是 mon 監(jiān)控節(jié)點

cd /etc/ceph
ceph-deploy new --public-network 192.168.10.0/24 --cluster-network 192.168.100.0/24 node01 node02 node03

#命令執(zhí)行成功后會在 /etc/ceph 下生成配置文件

ls /etc/ceph
ceph.conf #ceph的配置文件
ceph-deploy-ceph.log #monitor的日志
ceph.mon.keyring #monitor的密鑰環(huán)文件

5.在管理節(jié)點初始化 mon 節(jié)點

cd/etc/cephceph-deploy mon create node01 node02 node03      #創(chuàng)建 mon 節(jié)點，由于 monitor 使用 Paxos 算法，其高可用集群節(jié)點數(shù)量要求為大于等于 3 的奇數(shù)臺
ceph-deploy --overwrite-conf mon create-initial       #配置初始化 mon 節(jié)點，并向所有節(jié)點同步配置    --overwrite-conf 參數(shù)用于表示強(qiáng)制覆蓋配置文件
ceph-deploy gatherkeys node01             #可選操作，向 node01 節(jié)點收集所有密鑰

#命令執(zhí)行成功后會在 /etc/ceph 下生成配置文件

ls/etc/cephceph.bootstrap-mds.keyring      #引導(dǎo)啟動 mds 的密鑰文件ceph.bootstrap-mgr.keyring      #引導(dǎo)啟動 mgr 的密鑰文件ceph.bootstrap-osd.keyring      #引導(dǎo)啟動 osd 的密鑰文件ceph.bootstrap-rgw.keyring      #引導(dǎo)啟動 rgw 的密鑰文件ceph.client.admin.keyring      #ceph客戶端和管理端通信的認(rèn)證密鑰，擁有ceph集群的所有權(quán)限ceph.confceph-deploy-ceph.logceph.mon.keyring

#在 mon 節(jié)點上查看自動開啟的 mon 進(jìn)程ps aux | grep cephroot    1823 0.0 0.2 189264 9216 ?    Ss  19:46  0:00 /usr/bin/python2.7 /usr/bin/ceph-crashceph    3228 0.0 0.8 501244 33420 ?    Ssl 21:08  0:00 /usr/bin/ceph-mon -f --cluster ceph --idnode03 --setuser ceph --setgroupcephroot    3578 0.0 0.0 112824  988 pts/1  R+  21:24  0:00 grep --color=auto ceph

#在管理節(jié)點查看 Ceph 集群狀態(tài)

cd/etc/cephceph -s
cluster:  id:  7e9848bb-909c-43fa-b36c-5805ffbbeb39  health: HEALTH_WARN      mons are allowing insecure global_id reclaim services:  mon:3daemons, quorum node01,node02,node03  mgr: no daemons active  osd:0osds:0up,0in data:  pools: 0pools,0pgs  objects:0objects,0B  usage: 0B used,0B /0B avail  pgs:

#查看 mon 集群選舉的情況
ceph quorum_status --format json-pretty | grep leader
"quorum_leader_name": "node01",

注意：這條命令只能在admin執(zhí)行，其他節(jié)點執(zhí)行會報錯，如下，因為ceph目錄里沒有配置文件

#擴(kuò)容 mon 節(jié)點
ceph-deploy mon add <節(jié)點名稱>

6.部署能夠管理 Ceph 集群的節(jié)點（可選）

#可實現(xiàn)在各個節(jié)點執(zhí)行 ceph 命令管理集群

cd /etc/ceph
ceph-deploy --overwrite-conf config push node01 node02 node03 #向所有 mon 節(jié)點同步配置，確保所有 mon 節(jié)點上的 ceph.conf 內(nèi)容必須一致

ceph-deploy admin node01 node02 node03 #本質(zhì)就是把 ceph.client.admin.keyring 集群認(rèn)證文件拷貝到各個節(jié)點

#在 mon 節(jié)點上查看

ls /etc/ceph
ceph.client.admin.keyring ceph.conf rbdmap tmpr8tzyc

cd /etc/ceph
ceph -s

7.部署 osd 存儲節(jié)點

#主機(jī)添加完硬盤后不要分區(qū)，直接使用

lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 60G 0 disk
├─sda1 8:1 0 500M 0 part /boot
├─sda2 8:2 0 4G 0 part [SWAP]
└─sda3 8:3 0 55.5G 0 part /
sdb 8:16 0 20G 0 disk
sdc 8:32 0 20G 0 disk
sdd 8:48 0 20G 0 disk

使用命令刷新硬盤

echo "- - -" > /sys/class/scsi_host/host0/scan
echo "- - -" > /sys/class/scsi_host/host1/scan
echo "- - -" > /sys/class/scsi_host/host2/scan

#如果是利舊的硬盤，則需要先擦凈（刪除分區(qū)表）磁盤（可選，無數(shù)據(jù)的新硬盤可不做）cd/etc/cephceph-deploy disk zap node01 /dev/sdbceph-deploy disk zap node02 /dev/sdbceph-deploy disk zap node03 /dev/sdb
#添加 osd 節(jié)點ceph-deploy --overwrite-conf osd create node01 --data /dev/sdbceph-deploy --overwrite-conf osd create node02 --data /dev/sdbceph-deploy --overwrite-conf osd create node03 --data /dev/sdb

#查看 ceph 集群狀態(tài)

ceph-s
cluster:  id:  7e9848bb-909c-43fa-b36c-5805ffbbeb39  health: HEALTH_WARN      no avtive mgr services:  mon:3daemons, quorum node01,node02,node03 (age119m)  mgr: no daemons active  osd:3osds:3up (since35s),3in (since35s) data:  pools: 0pools,0pgs  objects:0objects,0B  usage: 3.0GiB used,57GiB /60GiB avail  pgs:

ceph osd stat
ceph osd tree
rados df
ssh root@node01 systemctl status ceph-osd@0
ssh root@node02 systemctl status ceph-osd@1
ssh root@node03 systemctl status ceph-osd@2

ceph osd status  #查看 osd 狀態(tài)，需部署 mgr 后才能執(zhí)行
+----+--------+-------+-------+--------+---------+--------+---------+-----------+| id | host | used | avail | wr ops | wr data | rd ops | rd data | state |+----+--------+-------+-------+--------+---------+--------+---------+-----------+|0 | node01 |1025M |18.9G |  0 |  0 |  0 |  0 |exists,up ||1 | node02 |1025M |18.9G |  0 |  0 |  0 |  0 |exists,up ||2 | node03 |1025M |18.9G |  0 |  0 |  0 |  0 |exists,up |+----+--------+-------+-------+--------+---------+--------+---------+-----------+

?

cephosd df  #查看 osd 容量，需部署 mgr 后才能執(zhí)行ID CLASS WEIGHT REWEIGHT SIZE  RAW USE DATA  OMAP META AVAIL %USE VAR PGS STATUS 0 hdd0.019491.0000020GiB1.0GiB1.8MiB 0B1GiB19GiB5.011.00 0  up 1 hdd0.019491.0000020GiB1.0GiB1.8MiB 0B1GiB19GiB5.011.00 0  up 2 hdd0.019491.0000020GiB1.0GiB1.8MiB 0B1GiB19GiB5.011.00 0  up           TOTAL60GiB3.0GiB5.2MiB 0B3GiB57GiB5.01        MIN/MAX VAR:1.00/1.00 STDDEV:0

#擴(kuò)容 osd 節(jié)點cd /etc/cephceph-deploy--overwrite-confosd create node01--data/dev/sdcceph-deploy--overwrite-confosd create node02--data/dev/sdcceph-deploy--overwrite-confosd create node03--data/dev/sdcceph-deploy--overwrite-confosd create node01--data/dev/sddceph-deploy--overwrite-confosd create node02--data/dev/sddceph-deploy--overwrite-confosd create node03--data/dev/sdd

添加 OSD 中會涉及到 PG 的遷移，由于此時集群并沒有數(shù)據(jù)，因此 health 的狀態(tài)很快就變成 OK，如果在生產(chǎn)環(huán)境中添加節(jié)點則會涉及到大量的數(shù)據(jù)的遷移。

8.部署 mgr 節(jié)點

#ceph-mgr守護(hù)進(jìn)程以Active/Standby模式運(yùn)行，可確保在Active節(jié)點或其ceph-mgr守護(hù)進(jìn)程故障時，其中的一個Standby實例可以在不中斷服務(wù)的情況下接管其任務(wù)。根據(jù)官方的架構(gòu)原則，mgr至少要有兩個節(jié)點來進(jìn)行工作。

cd /etc/ceph
ceph-deploy mgr create node01 node02

ceph -s
cluster:
id: 7e9848bb-909c-43fa-b36c-5805ffbbeb39
health: HEALTH_WARN
mons are allowing insecure global_id reclaim

services:
mon: 3 daemons, quorum node01,node02,node03
mgr: node01(active, since 10s), standbys: node02
osd: 0 osds: 0 up, 0 in

#解決 HEALTH_WARN 問題：mons are allowing insecure global_id reclaim問題：

禁用不安全模式：ceph config set mon auth_allow_insecure_global_id_reclaim false

#擴(kuò)容 mgr 節(jié)點
ceph-deploy mgr create <節(jié)點名稱>

9.開啟監(jiān)控模塊

#在 ceph-mgr Active節(jié)點執(zhí)行命令開啟
ceph -s | grep mgr

yum install -y ceph-mgr-dashboard

cd /etc/ceph

ceph mgr module ls | grep dashboard

#開啟 dashboard 模塊
ceph mgr moduleenabledashboard --force
#禁用 dashboard 的 ssl 功能
ceph configsetmgr mgr/dashboard/sslfalse
#配置 dashboard 監(jiān)聽的地址和端口
ceph configsetmgr mgr/dashboard/server_addr 0.0.0.0ceph configsetmgr mgr/dashboard/server_port 8000
#重啟 dashboardceph mgr module disable dashboardceph mgr module enable dashboard --force
#確認(rèn)訪問 dashboard 的 urlceph mgr services

#設(shè)置 dashboard 賬戶以及密碼
echo "12345678" > dashboard_passwd.txt
ceph dashboard set-login-credentials admin -i dashboard_passwd.txt
或
ceph dashboard ac-user-create admin administrator -i dashboard_passwd.txt