1. Ceph 概述

1.1 背景

Ceph 是一個(gè)去中心化的分布式存儲(chǔ)系統(tǒng)， 提供較好的性能、可靠性和可擴(kuò)展性。Ceph 項(xiàng)目最早起源于 Sage 就讀博士期間的工作（最早的成果于 2004 年發(fā)表），并隨后貢獻(xiàn)給開源社區(qū)， 遵循 LGPL 協(xié)議（LESSER GENERAL PUBLIC LICENSE 的簡(jiǎn)寫，中文譯為 “較寬松公共許可證”）。在經(jīng)過了數(shù)年的發(fā)展之后，目前已得到眾多云計(jì)算廠商（OpenStack、CloudStack、OpenNebula、Hadoop）的支持并被廣泛應(yīng)用。

1.2 介紹

Ceph 是一個(gè)可靠、自動(dòng)重均衡、自動(dòng)恢復(fù)的分布式存儲(chǔ)系統(tǒng)，根據(jù)場(chǎng)景劃分可以將 Ceph 分為三大塊，分別是對(duì)象存儲(chǔ)、塊設(shè)備和文件系統(tǒng)服務(wù)。 Ceph 的主要優(yōu)點(diǎn)是分布式存儲(chǔ)，在存儲(chǔ)每一個(gè)數(shù)據(jù)時(shí)，都會(huì)通過計(jì)算得出該數(shù)據(jù)存儲(chǔ)的位置，盡量將數(shù)據(jù)分布均衡，不存在傳統(tǒng)的單點(diǎn)故障的問題，可以水平擴(kuò)展。 Ceph 存儲(chǔ)集群至少需要一個(gè) Ceph Monitor 和兩個(gè) OSD 守護(hù)進(jìn)程。而運(yùn)行 Ceph 文件系統(tǒng)客戶端時(shí)，則必須要有元數(shù)據(jù)服務(wù)器（Metadata Server）。

1.3 特點(diǎn)

Ceph 適合跨集群的小文件存儲(chǔ)， 擁有以下特點(diǎn)：

高性能

Client 和 Server 直接通信， 不需要代理和轉(zhuǎn)發(fā)；

Client 不需要負(fù)責(zé)副本的復(fù)制， 有 Primary 主節(jié)點(diǎn)負(fù)責(zé)， 這樣可以有效降低 clien 網(wǎng)絡(luò)的消耗；

采用 CRUSH 算法，數(shù)據(jù)分布均衡，并行度高，支持上千個(gè)存儲(chǔ)節(jié)點(diǎn)， 支持 TB 及 PB 級(jí)數(shù)據(jù)。

高可用性

數(shù)據(jù)多副本， 支持故障域分隔，數(shù)據(jù)強(qiáng)一致性；

沒有單點(diǎn)故障，較好的容錯(cuò)性， 有效支撐各種故障場(chǎng)景；

支持所有故障的檢測(cè)和自動(dòng)恢復(fù)，可以做到自動(dòng)化管理；

支持并行恢復(fù)，能夠極大的降低數(shù)據(jù)恢復(fù)時(shí)間， 提高數(shù)據(jù)的可靠性。

高擴(kuò)展性

高度并行化設(shè)計(jì)，沒有單個(gè)中心控制組件，所有負(fù)載都能動(dòng)態(tài)的劃分到各個(gè)服務(wù)器上。

去中心化、靈活、隨節(jié)點(diǎn)增加線性增長(zhǎng)。

場(chǎng)景豐富

支持三種存儲(chǔ)接口類型：塊存儲(chǔ)、文件存儲(chǔ)、對(duì)象存儲(chǔ)。同時(shí)支持自定義接口，C++ 為底層實(shí)現(xiàn)， 兼容多種語言。

塊存儲(chǔ)：將磁盤空間映射給主機(jī)使用， 適用 docker 容器、虛擬機(jī)磁盤存儲(chǔ)分配；日志存儲(chǔ)， 文件存儲(chǔ)。

文件存儲(chǔ)：解決塊存儲(chǔ)無法共享問題， 在服務(wù)器架設(shè) FTP 和 NFS 服務(wù)器，適用目錄結(jié)構(gòu)的存儲(chǔ)、日志存儲(chǔ)等。

對(duì)象存儲(chǔ)：大容量硬盤， 安裝存儲(chǔ)管理軟件， 對(duì)外提供讀寫訪問能力， 具備塊存儲(chǔ)的高速讀寫能力， 也具備文件存儲(chǔ)共享的特性；適用圖片存儲(chǔ)或視頻存儲(chǔ)。

1.4 分布式存儲(chǔ)系統(tǒng)橫縱對(duì)比

對(duì)比說明	TFS	FASTDFS	MooseFS	GlusterFS	CEPH
開發(fā)語言	C++	C	C	C	C++
數(shù)據(jù)存儲(chǔ)方式	塊	文件 / Trunk	塊	文件 / 塊	對(duì)象 / 文件 / 塊
在線擴(kuò)容	支持	支持	支持	支持	支持
冗余備份	支持	支持	支持	支持	支持
單點(diǎn)故障	存在	不存在	存在	不存在	不存在
易用性	安裝復(fù)雜，官方文檔少	安裝簡(jiǎn)單，社區(qū)相對(duì)活躍	安裝簡(jiǎn)單，官方文檔多	安裝簡(jiǎn)單，官方文檔專業(yè)化	安裝簡(jiǎn)單，官方文檔專業(yè)化
適用場(chǎng)景	跨集群的小文件	單集群的中小文件	單集群的大中文件	跨集群云存儲(chǔ)	單集群的大中小文件

2. Ceph 架構(gòu)設(shè)計(jì)

2.1 Ceph 整體設(shè)計(jì)

基礎(chǔ)存儲(chǔ)系統(tǒng) RADOS

Reliable, Autonomic,Distributed Object Store，即可靠的、自動(dòng)化的、分布式的對(duì)象存儲(chǔ)

這就是一個(gè)完整的對(duì)象存儲(chǔ)系統(tǒng)，所有存儲(chǔ)在 Ceph 系統(tǒng)中的用戶數(shù)據(jù)事實(shí)上最終都是由這一層來存儲(chǔ)的。而 Ceph 的高可靠、高可擴(kuò)展、高性能、高自動(dòng)化等等特性本質(zhì)上也是由這一層所提供的。

基礎(chǔ)庫 librados

這層的功能是對(duì) RADOS 進(jìn)行抽象和封裝，并向上層提供 API，以便直接基于 RADOS（而不是整個(gè) Ceph）進(jìn)行應(yīng)用開發(fā)。特別要注意的是，RADOS 是一個(gè)對(duì)象存儲(chǔ)系統(tǒng)，因此，librados 實(shí)現(xiàn)的 API 也只是針對(duì)對(duì)象存儲(chǔ)功能的。RADOS 采用 C++ 開發(fā)，所提供的原生 librados API 包括 C 和 C++ 兩種。

高層應(yīng)用接口

這層包括了三個(gè)部分：RADOS GW（RADOS Gateway）、 RBD（Reliable Block Device）和 Ceph FS（Ceph File System），其作用是在 librados 庫的基礎(chǔ)上提供抽象層次更高、更便于應(yīng)用或客戶端使用的上層接口。其中，RADOS GW 是一個(gè)提供與 Amazon S3 和 Swift 兼容的 RESTful API 的 gateway，以供相應(yīng)的對(duì)象存儲(chǔ)應(yīng)用開發(fā)使用。RADOS GW 提供的 API 抽象層次更高，但功能則不如 librados 強(qiáng)大。

應(yīng)用層

這層是不同場(chǎng)景下對(duì)于 Ceph 各個(gè)應(yīng)用接口的各種應(yīng)用方式，例如基于 librados 直接開發(fā)的對(duì)象存儲(chǔ)應(yīng)用，基于 RADOS GW 開發(fā)的對(duì)象存儲(chǔ)應(yīng)用，基于 RBD 實(shí)現(xiàn)的云硬盤等等。librados 和 RADOS GW 的區(qū)別在于，librados 提供的是本地 API，而 RADOS GW 提供的則是 RESTfulAPI。

由于 Swift 和 S3 支持的 API 功能近似，這里以 Swift 舉例說明。Swift 提供的 API 功能主要包括：

用戶管理操作：用戶認(rèn)證、獲取賬戶信息、列出容器列表等；

容器管理操作：創(chuàng)建 / 刪除容器、讀取容器信息、列出容器內(nèi)對(duì)象列表等；

對(duì)象管理操作：對(duì)象的寫入、讀取、復(fù)制、更新、刪除、訪問許可設(shè)置、元數(shù)據(jù)讀取或更新等。

2.2 邏輯架構(gòu)

2.3 Ceph 專業(yè)術(shù)語

OSD: Ceph 的對(duì)象存儲(chǔ)設(shè)備，OSD 守護(hù)進(jìn)程的功能是存儲(chǔ)數(shù)據(jù)，處理數(shù)據(jù)的復(fù)制、恢復(fù)、回填、再均衡，并通過檢查其他 OSD 守護(hù)進(jìn)程的心跳來向 Ceph Monitors 提供一些監(jiān)控信息。

Monitors: Ceph 監(jiān)視器，Monitor 維護(hù)著展示集群狀態(tài)的各種圖表，包括監(jiān)視器圖、OSD 圖、歸置組（PG）圖、和 CRUSH 圖。

PG：Ceph 歸置組，每個(gè) Object 最后都會(huì)通過 CRUSH 計(jì)算映射到某個(gè) PG 中，一個(gè) PG 可以包含多個(gè) Object。

MDS: Ceph 元數(shù)據(jù)服務(wù)器（MDS），為 Ceph 文件系統(tǒng)存儲(chǔ)元數(shù)據(jù)。

CephFS: Ceph 文件系統(tǒng)，CephFS 提供了一個(gè)任意大小且兼容 POSIX 的分布式文件系統(tǒng)。

RADOS: Reliable Autonomic Distributed Object Store，表示可靠、自動(dòng)、分布式的對(duì)象存儲(chǔ)。Ceph 中的一切都是以對(duì)象形式存儲(chǔ)，RADOS 就負(fù)責(zé)存儲(chǔ)這些對(duì)象，RADOS 層確保數(shù)據(jù)一致性和可靠性。

Librados：librados 庫是一種用來簡(jiǎn)化訪問 RADOS 的方法，目前支持 PHP、Python、Ruby、Java、C 和 C++ 語言。

RBD：Ceph 的塊設(shè)備，它對(duì)外提供塊存儲(chǔ)，可以被映射、格式化進(jìn)而像其他磁盤一樣掛載到服務(wù)器。

RGW/RADOSGW：Ceph 對(duì)象網(wǎng)關(guān)，它提供了一個(gè)兼容 S3 和 Swift 的 restful API 接口。

3. Ceph 集群部署配置

3.1 部署結(jié)構(gòu)

虛擬機(jī)創(chuàng)建三臺(tái)服務(wù)器，CENTOS 版本為 7.6， IP 網(wǎng)段 192.168.116.0/24。三臺(tái)主機(jī)名稱為：

CENTOS7-1: IP 為 192.168.116.141， 既做管理節(jié)點(diǎn)， 又做子節(jié)點(diǎn)。

CENTOS7-2: IP 為 192.168.116.142， 子節(jié)點(diǎn)。

CENTOS7-3: IP 為 192.168.116.143， 子節(jié)點(diǎn)。

3.2 系統(tǒng)配置

系統(tǒng)配置工作， 三臺(tái)節(jié)點(diǎn)依次執(zhí)行：

修改主機(jī)名稱 [root@CENTOS7-1 ~]# vi /etc/hostname

CENTOS7-1

編輯 hosts 文件

?

192.168.116.141 CENTOS7-1

192.168.116.142 CENTOS7-2

192.168.116.143 CENTOS7-3

?

注意， 這里面的主機(jī)名稱要和節(jié)點(diǎn)名稱保持一致， 否則安裝的時(shí)候會(huì)出現(xiàn)問題

修改 yum 源 vi /etc/yum.repos.d/ceph.repo， 為避免網(wǎng)速過慢問題， 這里采用的是清華鏡像源

?

?

安裝 ceph 與 ceph-deploy 組件

?

yum update && yum -y install ceph ceph-deploy

安裝完成， 如果執(zhí)行 ceph-deploy 出現(xiàn) ImportError: No module named pkg_resources 安裝 python2-pip：yum -y install python2-pip yum install epel-release -y

?

安裝 NTP 時(shí)間同步工具

?

yum install ntp ntpdate ntp-doc -y

?

確保時(shí)區(qū)是正確， 設(shè)置開機(jī)啟動(dòng)：

?

systemctl enable ntpd

?

并將時(shí)間每隔 1 小時(shí)自動(dòng)校準(zhǔn)同步。編輯 vi /etc/rc.d/rc.local 追加：

?

/usr/sbin/ntpdate ntp1.aliyun.com > /dev/null 2>&1; /sbin/hwclock -w

?

配置定時(shí)任務(wù)，執(zhí)行 crontab -e 加入：

?

0 */1 * * * ntpdate ntp1.aliyun.com > /dev/null 2>&1; /sbin/hwclock -w

?

3.3 免密碼 SSH 登陸

官方建議不用系統(tǒng)內(nèi)置用戶， 創(chuàng)建名為 ceph_user 用戶， 密碼也設(shè)為 ceph_user：

?

useradd -d /home/ceph_user -m ceph_userpasswd ceph_user

?

設(shè)置 sudo 權(quán)限

?

echo "ceph_user ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/ceph_user

sudo chmod 0440 /etc/sudoers.d/ceph_user

?

1、2 兩個(gè)步驟依次在三臺(tái)機(jī)器上執(zhí)行。

接下來在主節(jié)點(diǎn)， 繼續(xù)執(zhí)行：

生成密鑰：

切換用戶：su ceph_user

執(zhí)行 ssh-keygen，一直按默認(rèn)提示點(diǎn)擊生成 RSA 密鑰信息。

分發(fā)密鑰至各機(jī)器節(jié)點(diǎn)

?

ssh-copy-id ceph_user@CENTOS7-1

ssh-copy-id ceph_user@CENTOS7-2

ssh-copy-id ceph_user@CENTOS7-3

?

修改管理節(jié)點(diǎn)上的?~/.ssh/config?文件， 簡(jiǎn)化 SSH 遠(yuǎn)程連接時(shí)的輸入信息：

管理節(jié)點(diǎn)是會(huì)有 root 和 ceph_user 多個(gè)用戶， ssh 遠(yuǎn)程連接默認(rèn)會(huì)以當(dāng)前用戶身份進(jìn)行登陸，

如果我們是 root 身份進(jìn)行遠(yuǎn)程連接， 還是需要輸入密碼， 我們想簡(jiǎn)化， 該怎么處理？

切換 root 身份，

?

?

su root

修改～/.ssh/config 文件

?

?

注意修改文件權(quán)限， 不能采用 777 最大權(quán)限：

?

chmod 600 ~/.ssh/config

?

進(jìn)行 ssh 遠(yuǎn)程連接時(shí)， Host 的主機(jī)名稱是區(qū)分大小寫的， 所以要注意配置文件的主機(jī)名稱。

開放端口， 非生產(chǎn)環(huán)境， 可以直接禁用防火墻：

?

systemctl stop firewalld.service

systemctl disable firewalld.service

?

SELINUX 設(shè)置

SELinux 設(shè)為禁用：

?

setenforce 0

?

永久生效：編輯 vi /etc/selinux/config 修改：

?

SELINUX=disabled

?

3.4 集群搭建配置

采用 root 身份進(jìn)行安裝

在管理節(jié)點(diǎn)創(chuàng)建集群配置目錄，cd /usr/local：

?

mkdir ceph-cluster

cd ceph-cluster

?

注意：此目錄作為 ceph 操作命令的基準(zhǔn)目錄， 會(huì)存儲(chǔ)處理配置信息。

創(chuàng)建集群， 包含三臺(tái)機(jī)器節(jié)點(diǎn)：

?

ceph-deploy new CENTOS7-1  CENTOS7-2 CENTOS7-3

?

創(chuàng)建成功后， 會(huì)生一個(gè)配置文件。

如果接下來集群的安裝配置出現(xiàn)問題， 可以執(zhí)行以下命令清除， 再重新安裝：

?

ceph-deploy purge CENTOS7-1  CENTOS7-2 CENTOS7-3

ceph-deploy purgedata CENTOS7-1  CENTOS7-2 CENTOS7-3

ceph-deploy forgetkeys

?

將三臺(tái)節(jié)點(diǎn)的 mon 信息也刪除

?

rm -rf /var/run/ceph/

?

修改配置文件， 有些配置后面需用到：

?

vi /usr/local/ceph-cluster/ceph.conf

?

加入：

?

?

第一項(xiàng)為副本數(shù)， 設(shè)為 2 份。

第二項(xiàng)為對(duì)外 IP 訪問網(wǎng)段，注意根據(jù)實(shí)際 IP 修改網(wǎng)段。

第三、四項(xiàng)為允許一定時(shí)間的漂移誤差。

執(zhí)行安裝：

?

ceph-deploy install  CENTOS7-1  CENTOS7-2 CENTOS7-3

?

如果出現(xiàn)錯(cuò)誤：

?

ceph_deploy][ERROR ] RuntimeError: Failed to execute command: ceph --version

?

可以在各節(jié)點(diǎn)上單獨(dú)進(jìn)行安裝：

?

yum -y install ceph

?

如果沒有倉庫文件 ceph.repo， 按上面的步驟手工創(chuàng)建。

初始 monitor 信息：

?

ceph-deploy mon create-initial## 

ceph-deploy --overwrite-conf mon create-initial

?

執(zhí)行完成后， 會(huì)生成以下文件：

?

同步管理信息：

下發(fā)配置文件和管理信息至各節(jié)點(diǎn)：

?

ceph-deploy admin  CENTOS7-1  CENTOS7-2 CENTOS7-3

?

安裝 mgr (管理守護(hù)進(jìn)程)， 大于 12.x 版本需安裝， 我們裝的是最新版，需執(zhí)行：

?

ceph-deploy mgr create CENTOS7-1  CENTOS7-2 CENTOS7-3

?

安裝 OSD (對(duì)象存儲(chǔ)設(shè)備)

注意：新版本的 OSD 沒有 prepare 與 activate 命令。

這里需要新的硬盤作為 OSD 存儲(chǔ)設(shè)備， 關(guān)閉虛擬機(jī)， 增加一塊硬盤， 不用格式化。

重啟， fdisk -l 查看新磁盤名稱：

?

執(zhí)行創(chuàng)建 OSD 命令：

?

ceph-deploy osd create --data /dev/sdb CENTOS7-2

?

三臺(tái)節(jié)點(diǎn)都需分別依次執(zhí)行。

?

ceph-deploy gatherkeys CENTOS7-1

?

驗(yàn)證節(jié)點(diǎn)：

輸入 ceph health 或 ceph -s 查看， 出現(xiàn) HEALTH_OK 代表正常。?


?

通過虛擬機(jī)啟動(dòng)，如果出現(xiàn)錯(cuò)誤:

?

?

在各節(jié)點(diǎn)執(zhí)行命令，確保時(shí)間同步一致:

?

ntpdate ntp1.aliyun.com 

?

3.5 安裝管理后臺(tái)

開啟 dashboard 模塊

?

ceph mgr module enable dashboard

?

生成簽名

?

ceph dashboard create-self-signed-cert

?

創(chuàng)建目錄

mkdir mgr-dashboard

?

[root@CENTOS7-1 mgr-dashboard]# pwd

/usr/local/ceph-cluster/mgr-dashboard

?

生成密鑰對(duì)

?

cd  /usr/local/ceph-cluster/mgr-dashboard

?

?

openssl req -new -nodes -x509   -subj "/O=IT/CN=ceph-mgr-dashboard" -days 3650   -keyout dashboard.key -out dashboard.crt -extensions v3_ca

?

?

[root@CENTOS7-1 mgr-dashboard]# ll

total 8

-rw-rw-r-- 1 ceph_user ceph_user 1155 Jul 14 02:26 dashboard.crt

-rw-rw-r-- 1 ceph_user ceph_user 1704 Jul 14 02:26 dashboard.key

?

啟動(dòng) dashboard

?

ceph mgr module disable dashboard

ceph mgr module enable dashboard

?

設(shè)置 IP 與 PORT

?

ceph config set mgr mgr/dashboard/server_addr 192.168.116.141

ceph config set mgr mgr/dashboard/server_port 18843

?

關(guān)閉 HTTPS

?

ceph config set mgr mgr/dashboard/ssl false

?

查看服務(wù)信息

?

[root@CENTOS7-1 ceph-cluster]# ceph mgr services

{ 
   "dashboard": "http://192.168.116.142:18843/"

}

?

設(shè)置管理用戶與密碼

?

ceph dashboard set-login-credentials admin admin

?

訪問

3.6 創(chuàng)建 Cephfs

集群創(chuàng)建完后， 默認(rèn)沒有文件系統(tǒng)， 我們創(chuàng)建一個(gè) Cephfs 可以支持對(duì)外訪問的文件系統(tǒng)。

?

ceph-deploy --overwrite-conf mds create CENTOS7-1 CENTOS7-2 CENTOS7-3

?

創(chuàng)建兩個(gè)存儲(chǔ)池，執(zhí)行兩條命令：

?

ceph osd pool create cephfs_data 128

ceph osd pool create cephfs_metadata 64

?

少于 5 個(gè) OSD 可把 pg_num 設(shè)置為 128

OSD 數(shù)量在 5 到 10，可以設(shè)置 pg_num 為 512

OSD 數(shù)量在 10 到 50，可以設(shè)置 pg_num 為 4096

OSD 數(shù)量大于 50，需要計(jì)算 pg_num 的值

通過下面命令可以列出當(dāng)前創(chuàng)建的存儲(chǔ)池：

?

ceph osd lspools

?

創(chuàng)建 fs, 名稱為 fs_test:

?

ceph fs new fs_test cephfs_metadata cephfs_data

?

狀態(tài)查看， 以下信息代表正常：

?

[root@CENTOS7-1 mgr-dashboard]# ceph fs ls

name: fs_test, metadata pool: cephfs_metadata, data pools: [cephfs_data ]

[root@CENTOS7-1 mgr-dashboard]# ceph mds stat

fs_test-1/1/1 up  {0=centos7-1=up:active}

?

附：如果創(chuàng)建錯(cuò)誤， 需要?jiǎng)h除， 執(zhí)行：

?

ceph fs rm fs_test --yes-i-really-mean-itceph osd pool delete cephfs_data cephfs_data  --yes-i-really-really-mean-it

?

確保在 ceph.conf 中開啟以下配置：

?

[mon]

mon allow pool delete = true

?

采用 fuse 掛載

先確定 ceph-fuse 命令能執(zhí)行， 如果沒有， 則安裝：

?

?

yum -y install ceph-fuse

創(chuàng)建掛載目錄

?

?

mkdir -p /usr/local/cephfs_directory

掛載 cephfs

?

[root@node3 ~]# ceph-fuse -k /etc/ceph/ceph.client.admin.keyring -m 192.168.116.141:6789 /usr/local/cephfs_directory

ceph-fuse[6687]: starting ceph client2019-07-14 

2109.644181 7fa5be56e040 -1 init, newargv = 0x7fa5c940b500 newargc=9

ceph-fuse[6687]: starting fuse

?

查看磁盤掛載信息

?

?

/usr/local/cephfs_directory 目錄已成功掛載。

3.7 客戶端連接驗(yàn)證 (Rados Java)

安裝好 JDK、GIT 和 MAVEN。

下載 rados java 客戶端源碼

?

?

git clone https://github.com/ceph/rados-java.git

下載目錄位置：

?

[root@CENTOS7-1 rados-java]# pwd

/usr/local/sources/rados-java

?

執(zhí)行 MAVEN 安裝，忽略測(cè)試用例：

?

[root@CENTOS7-1 rados-java]# mvn install -Dmaven.test.skip=true

?

生成 jar 包， rados-0.7.0.jar

?

?

創(chuàng)建軟鏈接， 加入 CLASSPATH

?

ln -s /usr/local/sources/rados-java/target/rados-0.7.0.jar /opt/jdk1.8.0_301/jre/lib/ext/rados-0.7.0.jar

?

安裝 jna

?

?

yum -y install jna

創(chuàng)建軟鏈接

?

ln -s /usr/share/java/jna.jar /opt/jdk1.8.0_301/jre/lib/ext/jna.jar

?

查看

?

[root@CENTOS7-1 target]# ll /opt/jdk1.8.0_301/jre/lib/ext/jna.jar

lrwxrwxrwx 1 root root 23 8月  11 19:00 /opt/jdk1.8.0_301/jre/lib/ext/jna.jar -> /usr/share/java/jna.jar

?

?

[root@CENTOS7-1 target]# ll /opt/jdk1.8.0_301/jre/lib/ext/jna.jar

lrwxrwxrwx 1 root root 23 8月  11 19:00 /opt/jdk1.8.0_301/jre/lib/ext/jna.jar -> /usr/share/java/jna.jar

?

創(chuàng)建 JAVA 測(cè)試類

CephClient 類，注意， 最新版 0.6 的異常處理包位置已發(fā)生變化。

?

import com.ceph.rados.Rados;import com.ceph.rados.exceptions.*;
import java.io.File;
public class CephClient {        public static void main (String args[]){
                try {                        Rados cluster = new Rados("admin");                        System.out.println("Created cluster handle.");
                        File f = new File("/etc/ceph/ceph.conf");                        cluster.confReadFile(f);                        System.out.println("Read the configuration file.");
                        cluster.connect();                        System.out.println("Connected to the cluster.");
                } catch (RadosException e) {                        System.out.println(e.getMessage() + ": " + e.getReturnValue());                }        }}

?

運(yùn)行驗(yàn)證

需要在 linux 環(huán)境下運(yùn)行，且要在 client 節(jié)點(diǎn)。

編譯并運(yùn)行：

?

?

成功與 ceph 建立連接。

注意：如果 java 和 javac 版本不同，可以使用 rpm -qa |grep java 進(jìn)行查找， rpm -e --nodeps jdk 進(jìn)行刪除，source /etc/profile 進(jìn)行生效

jdk 的位數(shù)為 64 位

審核編輯：劉清