Ceph存儲(chǔ)基本架構(gòu)：
Ceph存儲(chǔ)可分為塊存儲(chǔ)，對象存儲(chǔ)和文件存儲(chǔ)。Ceph基于對象存儲(chǔ)，對外提供三種存儲(chǔ)接口，故稱為統(tǒng)一存儲(chǔ)。
Ceph的底層是RADOS(分布式對象存儲(chǔ)系統(tǒng))，RADOS由兩部分組成：OSD和MON。
MON負(fù)責(zé)監(jiān)控整個(gè)集群，維護(hù)集群的健康狀態(tài)，維護(hù)展示集群狀態(tài)的各種圖表，如OSDMap、MonitorMap、PGMap和CRUSHMap。
OSD負(fù)責(zé)存儲(chǔ)數(shù)據(jù)、復(fù)制數(shù)據(jù)、平衡數(shù)據(jù)、恢復(fù)數(shù)據(jù)，與其它OSD間進(jìn)行心跳檢查等。通常情況下一塊硬盤對應(yīng)一個(gè)OSD。

Ceph數(shù)據(jù)的存儲(chǔ)過程：
無論使用哪種存儲(chǔ)方式（對象、塊、文件），存儲(chǔ)的數(shù)據(jù)都會(huì)被切分成對象（Objects)。

存儲(chǔ)池：
不同用戶因?yàn)椴煌哪康陌褜ο蟠鎯?chǔ)在不同的存儲(chǔ)池里，這些對象分布于OSD上。
對象保存在不同的存儲(chǔ)池（Pool）中，是對象存儲(chǔ)的邏輯組，對應(yīng)不同的用戶。存儲(chǔ)池管理著歸置組數(shù)量、副本數(shù)量、和存儲(chǔ)池規(guī)則集。

歸置組：
歸置組（PGPlacementGroup）是對象池的片段，Ceph根據(jù)對象的Oid和一些其他信息做計(jì)算操作，映射到歸置組，無數(shù)的對象被劃分到不同的歸置組。PG是一個(gè)邏輯概念，它在數(shù)據(jù)尋址時(shí)類似于數(shù)據(jù)庫中的索引。
每個(gè)對象都會(huì)固定映射進(jìn)一個(gè)PG中，所以當(dāng)我們要尋找一個(gè)對象時(shí)，只需要先找到對象所屬的PG，然后遍歷這個(gè)PG就可以了，無需遍歷所有對象。而且在數(shù)據(jù)遷移時(shí)，也是以PG作為基本單位進(jìn)行遷移。

OSD：
最后PG會(huì)根據(jù)管理員設(shè)置的副本數(shù)量進(jìn)行復(fù)制，然后通過crush算法存儲(chǔ)到不同的OSD節(jié)點(diǎn)上，最終把PG中的所有對象存儲(chǔ)到OSD節(jié)點(diǎn)上。

BlueStore：
新版本中，Ceph默認(rèn)以Bluestore存儲(chǔ)引擎，作為RADOS中OSD的ObjectStore存儲(chǔ)底層實(shí)現(xiàn)BlueStore整體架構(gòu)。

存儲(chǔ)空間：
BlueStore將整個(gè)存儲(chǔ)空間分為3個(gè)部分：WAL，DB，SLOW
慢速(Slow)空間：主要用于存儲(chǔ)對象數(shù)據(jù)，由BlueStore管理。
高速(DB)空間：存儲(chǔ)blufs和rocksdb產(chǎn)生的數(shù)據(jù)，由BlueFS直接管理，如果不存在或者DB設(shè)備空間不足，則選擇Slow類型設(shè)備空間。
超高速(WAL)空間：主要存儲(chǔ)RocksDB的WAL（即.log）文件，由BlueFS直接管理，如果不存在或者WAL設(shè)備空間不足，則逐級降級選擇DB、SLOW分區(qū)。

Rocksdb：
BlueStore使用Rocksdb作為自己元數(shù)據(jù)存儲(chǔ)的底層實(shí)現(xiàn)，將各種元數(shù)據(jù)以kv型記錄的方式存在數(shù)據(jù)庫中。
寫入機(jī)制：任何元數(shù)據(jù)的寫入都會(huì)先寫到WAL，然后再寫入MemoryTable(Memtable)。
當(dāng)一個(gè)Memtable寫滿了之后，就會(huì)變成immutable的Memtable，RocksDB在后臺會(huì)通過一個(gè)flush線程將這個(gè)Memtableflush到磁盤，生成一個(gè)SortedStringTable(SST)文件。

BlueFS：
BlueFS與通用文件系統(tǒng)不同，是Bluestore專為Rocksdb所設(shè)計(jì)的精簡文件系統(tǒng)。
BlueFS的文件和目錄的元數(shù)據(jù)以日志事務(wù)的形式保存在日志文件中，在上電過程中，replay日志文件中的事務(wù)，就可以加載所有的元數(shù)據(jù)到內(nèi)存中。

北亞企安針對Ceph的數(shù)據(jù)恢復(fù)流程：
1、制作磁盤鏡像，用于數(shù)據(jù)提取和備份。
2、提取BlueFS中數(shù)據(jù)庫文件。從磁盤鏡像的分區(qū)獲取超級塊，得到日志的節(jié)點(diǎn)信息。回放整個(gè)日志中的事務(wù)，得到目錄結(jié)構(gòu)和數(shù)據(jù)庫文件節(jié)點(diǎn)信息，根據(jù)數(shù)據(jù)庫文件節(jié)點(diǎn)信息提取數(shù)據(jù)庫文件。提取從每個(gè)OSD提取出來的數(shù)據(jù)庫中的object記錄。
3、對于損壞的數(shù)據(jù)庫，根據(jù)文件格式提取數(shù)據(jù)庫完好文件中的object記錄。
4、解析object記錄，從各鏡像上提取對應(yīng)的object數(shù)據(jù)。
5、根據(jù)object的id按序組合卷文件的所有object數(shù)據(jù)塊，還原整個(gè)卷數(shù)據(jù)。
6、修復(fù)卷的文件系統(tǒng)和其中文件。
對于損壞缺失程度不高的卷文件系統(tǒng)，嘗試修復(fù)損壞的卷，得到卷中的文件。
對于有固定格式的文件，嘗試修復(fù)損壞文件。

審核編輯 黃宇