1.云效解决方案

云效解决方案

结合云效持续交付流水线和主机部署的能力,为应用持续交付提供了很好的基础保障,如图:

java服务写提交云效流水线 云效流水线部署方式_java

开发者提交代码变更到代码库,云效在监听着代码库的变动,一旦代码发生变化,将自动触发云效持续部署流水线一次构建任务的运行,包括代码检查、构建、测试部署、测试验证和生产部署等过程。其中,在构建完之后,生成制品包并自动上传至OSS仓库,在部署阶段(测试环境的部署和生产环境的部署)时,再从制品仓库中取得最新的版本,根据不同的部署策略通过主机部署到不同环境,这里资源可以是阿里云或者自建主机资源。

2.创建流水线

创建流水线

接下来以一个 Java Spring Boot 的代码库为例,讲解如何进行构建并部署到阿里云 ECS 服务器。

1.  使用您自己的账号进入云效(https://devops.aliyun.com)点击页面左上角的dock,选择流水线进入Flow。

java服务写提交云效流水线 云效流水线部署方式_java_02

2.  点击右上角【新建流水线】,进入流水线创建向导页面。

java服务写提交云效流水线 云效流水线部署方式_开发语言_03

3.  选择相应模板,并点击创建。

java服务写提交云效流水线 云效流水线部署方式_代码库_04

3.配置代码库

配置代码库

1.  创建流水线之后会自动弹出添加代码源的窗口,这里选择Flow提供的示例代码源,并进行添加

java服务写提交云效流水线 云效流水线部署方式_后端_05

4.配置构建上传任务

配置构建上传任务

1.  修改一下”Java构建上传“的任务,增加一个打包路径,填入deploy.sh。这个文件存在于代码库中,其中包含了在ECS上进行应用启动的脚本,为了进行后续的主机部署,需要将这个文件也打入到压缩包中,在后续的主机部署任务中可以看到如何使用该deploy.sh。在该配置中指定了target/和deploy.sh两个路径,所以Flow会将这两个文件(夹)打包成为一个压缩包,并进行归档,在Flow中我们称之为制品,该制品也会在后续的主机部署任务中用到。

java服务写提交云效流水线 云效流水线部署方式_后端_06

java服务写提交云效流水线 云效流水线部署方式_开发语言_07

 

5.连接ECS服务器

连接ECS服务器

点击页面右侧 切换至Web Terminal 即可连接到ECS服务器。

java服务写提交云效流水线 云效流水线部署方式_后端_08

6.配置部署任务

配置部署任务

1.  接下来配置主机部署任务,在制品下拉框中选择”制品名称.default”,也就是前面的”Java构建上传“步骤归档的那个制品。为了配置主机组,需要先创建一个,点击”新建主机组”。

java服务写提交云效流水线 云效流水线部署方式_后端_09

2.  参考如下步骤添加ECS主机。

    a.  选择 “自有主机”;

java服务写提交云效流水线 云效流水线部署方式_后端_10

    b.  复制自有主机界面命令;

java服务写提交云效流水线 云效流水线部署方式_java_11

    c.  在ECS服务器中粘贴复制过来的命令并进行安装;

java服务写提交云效流水线 云效流水线部署方式_开发语言_12

    d.  agent插件安装成功后自有主机界面会自动获取到主机信息;

java服务写提交云效流水线 云效流水线部署方式_开发语言_13

    e.  进一步填写自有主机信息,可参考下图所示;点击保存后自有主机添加完成。

java服务写提交云效流水线 云效流水线部署方式_java_14

3.  接下来进行部署脚本的配置:

  1. 下载路径:表示希望把”构建上传”任务中的压缩包下载到机器上的什么位置,在本例的值为:/home/admin/app/package.tgz
  2. 执行用户:希望以是哪个用户的身份进行脚本执行,本例的值为:root
  3. 部署脚本:在机器上执行脚本的具体内容,本例的值为:
mkdir -p /home/admin/application/
tar zxvf /home/admin/app/package.tgz -C /home/admin/application/
sh /home/admin/application/deploy.sh restart

java服务写提交云效流水线 云效流水线部署方式_后端_15

4.  部署策略配置

    a.  暂停方式:希望一个主机组中的机器以什么样的暂停方式进行,比如第一批暂停,每批暂停,或者不暂停。推荐使用第一批暂停,在发布完第一批之后,对线上服务进行观察,如果没有异常,则可以继续其余批的发布

    b.  分批数量:希望主机组中的机器分为几批进行发布。比如一共4台机器,分两批,则每批同时发布2台机器。

 

7.添加人工卡点

添加人工卡点

为了保证经过审批的制品才能进入部署环境,需要添加一个人工卡点,这里假设这个环境是测试环境,需要有测试管理员来审批才能进入。

首选需要在企业中创建一个角色”测试管理员“,并将企业用户”张三”的角色设置为该角色。

java服务写提交云效流水线 云效流水线部署方式_java服务写提交云效流水线_16

java服务写提交云效流水线 云效流水线部署方式_开发语言_17

java服务写提交云效流水线 云效流水线部署方式_java服务写提交云效流水线_18

java服务写提交云效流水线 云效流水线部署方式_开发语言_19

java服务写提交云效流水线 云效流水线部署方式_java_20

java服务写提交云效流水线 云效流水线部署方式_java服务写提交云效流水线_21

以上演示了如何添加一个进入测试环境的卡点,添加生产环境的卡点也是类似的,这里不再赘述,可以类似的进行配置。

 

8.运行流水线

运行流水线

配置完毕,点击”保存并运行”触发流水线:

java服务写提交云效流水线 云效流水线部署方式_后端_22

java服务写提交云效流水线 云效流水线部署方式_后端_23

扫描、单测及构建上传的任务自动完成,并停在了卡点上:

java服务写提交云效流水线 云效流水线部署方式_开发语言_24

普通人员无权限通过,切换到张三的账号之后,可以通过或者拒绝:

java服务写提交云效流水线 云效流水线部署方式_代码库_25

点击”验证通过“,流水线会进入主机部署的任务,点击”部署详情”可以看到更多部署信息:

java服务写提交云效流水线 云效流水线部署方式_代码库_26

点击查看日志,可以看到执行的日志详情:

java服务写提交云效流水线 云效流水线部署方式_java服务写提交云效流水线_27

日志显示部署成功,此时访问该主机的公网接口可以看到服务已经可以正常访问了:

$ curl http://47.244.109.14:8080/
Greetings from Spring Boot!

9.回滚

回滚

如果发布完成之后发现线上服务有问题,则需要快速回滚。云效Flow提供了通过历史版本直接进行回滚的能力。

在流水线运行页面点击”部署历史“,然后选择相应的部署任务,便可以看到该部署任务所有的成功部署记录

java服务写提交云效流水线 云效流水线部署方式_java_28

点击版本4的”回滚“,即可回滚到该版本。

java服务写提交云效流水线 云效流水线部署方式_java_29

java服务写提交云效流水线 云效流水线部署方式_java_30

10.通知

通知

为了更好的进行协作,Flow提供了通知能力在流水线不同的生命周期节点上进行通知。一般来讲开发团队会关心部署的成功和失败,那么可以将该事件推送到团队的钉钉群中,配置方式如下,点击”添加插件”,选择钉钉机器人通知,填入webhook地址,运行时机选择”失败“,”成功”

java服务写提交云效流水线 云效流水线部署方式_java服务写提交云效流水线_31

再次运行之后,就会收到相应的通知:

java服务写提交云效流水线 云效流水线部署方式_后端_32

结语

通过以上的操作流程,就可以建立起来一个协同多角色的流水线。接下来你可能想再了解其中的一些细节:

  1. 定制化代码扫描规则定制化扫描及单元测试通过规则
  2. 如何添加非ECS主机

附:deploy.sh

#!/bin/bash

# 修改APP_NAME为云效上的应用名
APP_NAME=application


PROG_NAME=$0
ACTION=$1
APP_START_TIMEOUT=20    # 等待应用启动的时间
APP_PORT=8080          # 应用端口
HEALTH_CHECK_URL=http://127.0.0.1:${APP_PORT}  # 应用健康检查URL
APP_HOME=/home/admin/${APP_NAME} # 从package.tgz中解压出来的jar包放到这个目录下
JAR_NAME=${APP_HOME}/target/${APP_NAME}.jar # jar包的名字
JAVA_OUT=${APP_HOME}/logs/start.log  #应用的启动日志

# 创建出相关目录
mkdir -p ${APP_HOME}
mkdir -p ${APP_HOME}/logs
usage() {
    echo "Usage: $PROG_NAME {start|stop|restart}"
    exit 2
}

health_check() {
    exptime=0
    echo "checking ${HEALTH_CHECK_URL}"
    while true
        do
            status_code=`/usr/bin/curl -L -o /dev/null --connect-timeout 5 -s -w %{http_code}  ${HEALTH_CHECK_URL}`
            if [ "$?" != "0" ]; then
               echo -n -e "\rapplication not started"
            else
                echo "code is $status_code"
                if [ "$status_code" == "200" ];then
                    break
                fi
            fi
            sleep 1
            ((exptime++))

            echo -e "\rWait app to pass health check: $exptime..."

            if [ $exptime -gt ${APP_START_TIMEOUT} ]; then
                echo 'app start failed'
               exit 1
            fi
        done
    echo "check ${HEALTH_CHECK_URL} success"
}
start_application() {
    echo "starting java process"
    nohup java -jar ${JAR_NAME} > ${JAVA_OUT} 2>&1 &
    echo "started java process"
}

stop_application() {
   checkjavapid=`ps -ef | grep java | grep ${APP_NAME} | grep -v grep |grep -v 'deploy.sh'| awk '{print$2}'`
   
   if [[ ! $checkjavapid ]];then
      echo -e "\rno java process"
      return
   fi

   echo "stop java process"
   times=60
   for e in $(seq 60)
   do
        sleep 1
        COSTTIME=$(($times - $e ))
        checkjavapid=`ps -ef | grep java | grep ${APP_NAME} | grep -v grep |grep -v 'deploy.sh'| awk '{print$2}'`
        if [[ $checkjavapid ]];then
            kill -9 $checkjavapid
            echo -e  "\r        -- stopping java lasts `expr $COSTTIME` seconds."
        else
            echo -e "\rjava process has exited"
            break;
        fi
   done
   echo ""
}
start() {
    start_application
    health_check
}
stop() {
    stop_application
}
case "$ACTION" in
    start)
        start
    ;;
    stop)
        stop
    ;;
    restart)
        stop
        start
    ;;
    *)
        usage
    ;;
esac