Jenkins與Docker的自動(dòng)化CI/CD

高效的CI/CD環(huán)境是什么樣的？

1. 及時(shí)發(fā)現(xiàn)問(wèn)題：提早得到集成反饋和修復(fù)

2. 大幅度減少故障率：業(yè)務(wù)流程化，減少人工出錯(cuò)風(fēng)險(xiǎn)

3. 加快迭代速度：可以在幾分鐘內(nèi)運(yùn)行幾十次、甚至上百次持續(xù)集成

4. 減少時(shí)間成本：多項(xiàng)目管理及繁瑣的部署工作沒(méi)有了，不必再花費(fèi)一定時(shí)間去準(zhǔn)備

5. 研發(fā)端到端流水線，一鍵部署，應(yīng)用彈性伸縮，灰度發(fā)布

要想做到一個(gè)高效的CI/CD流程，需要有能力整合DevOps工具鏈及多環(huán)境適配，并且設(shè)計(jì)之初以自動(dòng)化為原則，如一鍵部署、一鍵升級(jí)。

發(fā)布流程設(shè)計(jì)

? 在這里插入圖片描述

Jenkins + Docker

下圖是構(gòu)想的網(wǎng)絡(luò)結(jié)構(gòu)圖

大體結(jié)構(gòu)

大體結(jié)構(gòu)

1. 開(kāi)發(fā)人員在gitLab上打了一個(gè)tag

2. gitLab把tag事件推送到Jenkins

3. Jenkins 獲取tag源碼，編譯，打包，構(gòu)建鏡像

4. Jenkins push 鏡像到阿里云倉(cāng)庫(kù)

5. Jenkins 執(zhí)行遠(yuǎn)程腳本
5-1. 遠(yuǎn)程服務(wù)器 pull 指定鏡像
5-2. 停止老版本容器，啟動(dòng)新版本容器

6. 通知測(cè)試人員部署結(jié)果

基于maven構(gòu)建鏡像，上傳阿里云docker倉(cāng)庫(kù)

maven 構(gòu)建鏡像配置

pom.xml 文件添加docker插件

  com.spotify
  docker-maven-plugin
  0.4.11
  
    ${docker.image.prefix}/${project.artifactId}
    
      ${project.version}
      latest
    
    src/main/docker
    
      
        /
        ${project.build.directory}
        ${project.build.finalName}.jar
      
    
  

? ${docker.image.prefix} 是鏡像的前綴

? ${project.artifactId} 是鏡像名字

? ${project.version} 版本號(hào)，此處也用來(lái)當(dāng)做鏡像的版本號(hào)

docker-maven-plugin 使用可以自行百度。

src/main/docker 目錄下新增文件 Dockerfile，內(nèi)容如下：

FROM frolvlad/alpine-oraclejdk8:slim
VOLUME /tmp
ADD demo-service-ver-0.0.1.jar app.jar
RUN sh -c 'touch /app.jar'
ENV JAVA_OPTS=""
ENTRYPOINT [ "sh", "-c", "java $JAVA_OPTS -Djava.security.egd=file:/dev/./urandom -jar /app.jar" ]

以上的配置可以把一個(gè)服務(wù)打包成鏡像，只需要執(zhí)行

`$ sudo mvn package docker:build`

阿里云docker倉(cāng)庫(kù)使用

注冊(cè)或者啟用阿里云docker倉(cāng)庫(kù)就不贅述。下面簡(jiǎn)單介紹上傳拉取docker鏡像

? 登錄

`$ sudo docker login --username=用戶名 --password=密碼 registry-internal.cn-hangzhou.aliyuncs.com`

? push 之前生成的鏡像

$ sudo docker tag [ImageId] registry.cn-hangzhou.aliyuncs.com/xxx/demo-service:[鏡像版本號(hào)]
$ sudo docker push registry.cn-hangzhou.aliyuncs.com/xxx/demo-service:[鏡像版本號(hào)]

xxx : 是你鏡像倉(cāng)庫(kù)的namespace

一堆push后，你就可以在阿里云的Docker鏡像倉(cāng)庫(kù)里面看到你對(duì)應(yīng)的鏡像了。下圖是我們公司的部分鏡像列表

? 鏡像列表 鏡像列表

? pull 鏡像 登錄操作同上

`$ sudo docker pull registry.cn-hangzhou.aliyuncs.com/xxx/demo-service:[鏡像版本號(hào)]`

jenkins 部署配置

構(gòu)建Jenkins鏡像

FROM jenkins
USER root
RUN apt-get update && apt-get install -y sudo && rm -rf /var/lib/apt/lists/*
RUN echo "jenkins ALL=NOPASSWD: ALL" >> /etc/sudoers
USER jenkins

一開(kāi)始使用官方的鏡像直接啟用，一些插件和配置多少都有點(diǎn)問(wèn)題，比如不能使用sudo，等等。因此基于官方鏡像構(gòu)建一個(gè)更符合我們需要的鏡像。

構(gòu)建命令：

 $ sudo docker build -t buxiaoxia/jenkins:1.0

啟動(dòng)Jenkins容器

sudo docker run --memory 1.5G --name buxiaoxia-jenkins 
-p 18181:8080 -p 50000:50000 -u root -d 
--env JAVA_OPTS="-Xms256m -Xmx512m -XX:MaxNewSize=256m" 
-v /var/run/docker.sock:/var/run/docker.sock  
-v /usr/bin/docker:/usr/bin/docker 
-v /home/buxiaoxia/software/jenkins:/var/jenkins_home 
-v /usr/lib64/libltdl.so.7:/usr/lib/x86_64-linux-gnu/libltdl.so.7 
buxiaoxia/jenkins:1.0

簡(jiǎn)單解釋下：

-v /var/run/docker.sock:/var/run/docker.sock與 _-v /usr/bin/docker:/usr/bin/docker_是把宿主機(jī)docker 映射到容器內(nèi)。

-v /home/buxiaoxia/software/jenkins:/var/jenkins_home指定Jenkins的宿主機(jī)存儲(chǔ)路徑

-v /usr/lib64/libltdl.so.7:/usr/lib/x86_64-linux-gnu/libltdl.so.7在centos7 系統(tǒng)下會(huì)出現(xiàn)個(gè)別的包丟失，對(duì)應(yīng)的引下宿主機(jī)的包就可以。

docker在容器內(nèi)構(gòu)建的時(shí)候，如果出現(xiàn)權(quán)限不夠什么的。可以在宿主機(jī)中使用以下兩種方式：

 `$ sudo chmod 777 /var/run/docker.sock`

或者

`$ usermod -a -G docker jenkin`

jenkins 啟動(dòng)后，訪問(wèn)對(duì)應(yīng)的Jenkins頁(yè)面，初始化只要一步步跟著走就可以了。

Jenkins配置

插件下載

所需要的插件：

? Maven Integration plugin

? docker-build-step

? Docker plugin

? Gitlab Hook Plugin

? GitLab Plugin

因?yàn)槭褂玫氖莋itlab，對(duì)應(yīng)的插件也是必須的。下載完插件后，maven等相關(guān)插件配置好（此處省略...）

maven 鏡像地址配置

可以直接在宿主機(jī)修改，路徑在:/home/buxiaoxia/software/jenkins/tools/hudson.tasks.Maven_MavenInstallation/maven3-1/conf 下的settings.xml

setting.xml 鏡像改成阿里云的就OK，飛起。。。

新建一個(gè)maven job

源碼配置

?

構(gòu)建

?

構(gòu)建后執(zhí)行特定腳本

?

腳本內(nèi)容如下：

echo '================開(kāi)始推送鏡像================'
sudo docker login --username=用戶名 --password=密碼 registry-internal.cn-hangzhou.aliyuncs.com
sudo docker push registry-internal.cn-hangzhou.aliyuncs.com/xxx/demo-service
echo '================結(jié)束推送鏡像================'
echo '================開(kāi)始遠(yuǎn)程啟動(dòng)================'
ssh buxiaoxia@192.168.100.2 -tt << remotessh ? ? ? ? ? ?###首先要ssh上去注意這里的<< remotessh，需要做公鑰密鑰

####從這里開(kāi)始都是在遠(yuǎn)程機(jī)器上執(zhí)行命令
cd /home/buxiaoxia/xiaw
./jenkins.sh registry-internal.cn-hangzhou.aliyuncs.com/xxx/demo-service
sudo docker login --username=用戶名 --password=密碼 registry-internal.cn-hangzhou.aliyuncs.com?
sudo docker pull registry-internal.cn-hangzhou.aliyuncs.com/xxx/demo-service

sudo docker run -d -m 300m ?--name=demo-service-`date +%Y-%m-%d` --restart=always registry-internal.cn-hangzhou.aliyuncs.com/xxx/demo-service
echo "finished!"

#####執(zhí)行完畢

exit ?###退出遠(yuǎn)程機(jī)器
remotessh ?###結(jié)尾哦
echo '================結(jié)束遠(yuǎn)程啟動(dòng)================'

jenkins.sh 腳本內(nèi)容：

#!/bin/sh
sudodocker stop $(sudodocker ps | grep$1|awk'{print $1}'|sed's/%//g')

以上就完成了一個(gè)簡(jiǎn)單的自動(dòng)化構(gòu)建

gitlab配置webhook

Jenkins安裝完對(duì)應(yīng)的gitlab插件，配置中的構(gòu)建觸發(fā)選擇如下

?

復(fù)制紅框中的url

再在gitlab的對(duì)應(yīng)項(xiàng)目中webhooks頁(yè)面中的url填入前面復(fù)制的url

?

保存即可，右下角可以點(diǎn)擊測(cè)試哦。

配置完成后，每次該項(xiàng)目有個(gè)tag push event ，都會(huì)觸發(fā)Jenkins的自動(dòng)構(gòu)建。接著，Jenkins就執(zhí)行 拉取源碼 -> 編譯 -> 構(gòu)建鏡像 -> 推送鏡像 -> 執(zhí)行遠(yuǎn)程啟動(dòng)腳本完成部署。

總結(jié)

一步步的配置，基本就跑通了我們基于Jenkins，docker實(shí)現(xiàn)自動(dòng)化部署的初始版本。開(kāi)發(fā)人員完成功能開(kāi)發(fā)后，需要交互一個(gè)測(cè)試版本，只需要推送一個(gè)tag到git倉(cāng)庫(kù)，就能夠?qū)⒋a自動(dòng)部署到特定的服務(wù)器上。可喜可賀~ 可以省去一堆的從一個(gè)服務(wù)器跑到另一個(gè)服務(wù)器，然后執(zhí)行各種命令的瑣碎操作。。。

關(guān)于配置

目前我是使用了consul的配置共享，把不同環(huán)境的配置放在了consul上，鏡像中沒(méi)有保留可變的配置，而是根據(jù)啟動(dòng)的參數(shù)就可以自由切換環(huán)境配置。
當(dāng)然，consul的配置共享可以看看我git上關(guān)于consul的項(xiàng)目：spring-boot-cloud: Spring Boot Spring Cloud 相關(guān)樣例以及學(xué)習(xí)理解記錄

存在問(wèn)題

? docker未使用編排，較為獨(dú)立，需要知道特定的服務(wù)器網(wǎng)絡(luò)位置

? docker鏡像的push與pull，都需要明文執(zhí)行阿里云賬號(hào)密碼，可進(jìn)一步改進(jìn)

? 未構(gòu)建版本回退流程

? shell腳本健壯性不夠，異常未處理

優(yōu)化

可以針對(duì)以上問(wèn)題做相應(yīng)的優(yōu)化，完善初始化版本的CD流程。例如，docker 使用swarm，讓swarm管理docker 容器等等。

鏈接：https://blog.csdn.net/Franklin7B/article/details/98210360#comments_31567643