基于K8s插件版的Jenkins动态节点实践【内含最佳实践】-鸿蒙开发者社区-51CTO.COM

鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

鸿蒙开发者社区

登录/注册
51CTO

中国优质的IT技术网站

51CTO博客

专业IT技术创作平台

51CTO学堂

IT职业在线教育平台

活动短视频专栏极客Show 鸿蒙技术特刊

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】

love374

发布于 2023-7-18 11:35

浏览

0收藏

手动在Jenkins Server上面创建一个Jenkins Agent节点，选择JNLP 类型。然后获取Jenkins Agent与Master连接所需要的JENKINS_AGENT_NAME 和JENKINS_AGENT_SECRET信息。

静态的AGENT节点，需要编写一个Deployment部署文件并传递上面的连接信息，然后kubectl apply；

动态的AGENT节点，需要使用kubernetes插件，首先配置CLOUD，添加Kubernetes集群的配置信息。然后编写Pipeline Agent部分的YAML和Stages。

1. 创建节点

Jenkins > 节点管理 > 添加节点

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】-鸿蒙开发者社区

配置节点信息

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】-鸿蒙开发者社区

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】-鸿蒙开发者社区

创建成功（后面需要用到节点名称和secret信息）

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】-鸿蒙开发者社区

2. 静态节点

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】-鸿蒙开发者社区

kind: Deployment
apiVersion: apps/v1
metadata:
  labels:
    k8s-app: jenkinsagent
  name: jenkinsagent
  namespace: devops
spec:
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      k8s-app: jenkinsagent
  template:
    metadata:
      labels:
        k8s-app: jenkinsagent
      namespace: devops
      name: jenkinsagent
    spec:
      containers:
        - name: jenkinsagent
          image: jenkins/inbound-agent:4.10-3-jdk8
          securityContext:
            privileged: true
          imagePullPolicy: IfNotPresent
          resources:
            limits:
              cpu: 1000m
              memory: 2Gi
            requests:
              cpu: 500m
              memory: 512Mi
          env:
            - name: JENKINS_URL
              value: http://192.168.1.200:8080
            - name: JENKINS_SECRET
              value: 2f3f27ee602171c5b51bc69c2bda501d703ac65f42de16600b3e3007dfdec422
            - name: JENKINS_AGENT_NAME
              value: buildserver1
            - name: JENKINS_AGENT_WORKDIR
              value: /home/jenkins/workspace

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】-鸿蒙开发者社区

3. 动态节点

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】-鸿蒙开发者社区

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】-鸿蒙开发者社区

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】-鸿蒙开发者社区

4. 最佳实践

基于K8s插件版的Jenkins动态节点实践【内含最佳实践】-鸿蒙开发者社区

@Library("mylib@feature-k8s") _     //加载共享库


podYaml = """
kind: Pod
apiVersion: v1
metadata:
  labels:
    k8s-app: jenkinsagent
  name: jnlp
  namespace: devops
spec:
  securityContext:
    runAsUser: 0
  containers:
  - name: jnlp
    image: jenkins/inbound-agent:4.10-3-jdk8
    imagePullPolicy: IfNotPresent
  - name: maven
    image: maven:3.8.4-jdk-8
    imagePullPolicy: IfNotPresent
    command:
    - cat
    tty: true
  - name: dind
    image: 'docker:stable-dind'
    command:
    - dockerd
    - --host=unix:///var/run/docker.sock
    - --host=tcp://0.0.0.0:8000
    - --insecure-registry=192.168.1.200:8088
    securityContext:
      privileged: true
    volumeMounts:
    - mountPath: /var/run
      name: docker-dir
  - name: "docker"
    tty: true
    image: docker:19.03.15-git
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - mountPath: /var/run
      name: docker-dir
  - name: "curl"
    tty: true
    image: curlimages/curl:7.84.0
    imagePullPolicy: IfNotPresent
    command:
    - cat
  - name: "helm"
    tty: true
    image: dtzar/helm-kubectl:3.9.0
    imagePullPolicy: IfNotPresent
    command:
    - cat
  volumes:
    - name: docker-dir
      emptyDir: {}
"""


pipeline{
    agent{
        kubernetes{
            label "test01"
            cloud 'kubernetes'
            yaml podYaml

        }
    }
    
    options {
        skipDefaultCheckout()
    }

    stages{
        stage("Checkout"){
            steps{
                script {
                    println("GetCode")
                    checkout([$class: 'GitSCM', 
                        branches: [[name: "${env.branchName}"]], 
                        extensions: [], 
                        userRemoteConfigs: [[credentialsId: '62a3150f-38f8-4c9d-9334-79072b1d75cc', 
                                            url: "${env.srcUrl}"]]])
                    
                    env.commitID = GetCommitID()
                    env.buName = "${JOB_NAME}".split("-")[0]
                    env.serviceName = "${JOB_NAME}".split("_")[0]
                    currentBuild.description = """ branchName: ${env.branchName} \n"""
                    currentBuild.displayName = "${env.commitID}"
                }
            }
        }

        stage("Build"){
            steps{
                script{
                    settingsContent = libraryResource 'config/settings.xml'
                    writeFile file: 'settings.xml', text: settingsContent
                }
                container('maven') {
                    sh "${env.buildShell}  -s settings.xml"
                }
            }
        }

        stage("PushArtifact"){
            steps{
                container("curl"){
                    script{ 
                        //Dir /buName/serviceName/version/serviceName-version.xxx
                        version = "${env.branchName}-${env.commitID}"
                        // 重命名
                        JarName = sh returnStdout: true, script: """ls target | grep -E "jar\$" """
                        fileName = JarName -"\n"
                        fileType = fileName.split('\\.')[-1]
                        env.newFileName = "${env.serviceName}-${version}.${fileType}"

                        sh "cd target ; mv ${fileName}  ${newFileName} "
                        PushArtifact("${env.buName}/${env.serviceName}/${version}", "target", "${newFileName}")
                    }
                }
            }
        }


        stage("Docker"){
            steps{
                script{
                    env.registry = "192.168.1.200:8088"
                    // tag: branch-commid
                    env.version = "${env.branchName}-${env.commitID}"
                    env.imageName = "${env.registry}/${env.buName}/${env.serviceName}:${env.version}"
                }
                container('docker'){
                     withCredentials([usernamePassword(credentialsId: 'fad4e7c7-1f8b-45b2-83be-2b914bf08edf', passwordVariable: 'DOCKER_PASSWD', usernameVariable: 'DOCKER_USER')]) {

                        sh """
                            # 构建镜像
                            docker build -t ${env.imageName} .  --build-arg pkgname=target/${env.newFileName}

                            #登录镜像仓库
                            docker login -u ${DOCKER_USER} -p ${DOCKER_PASSWD} ${env.registry}
                            
                            # 上传镜像
                            docker push ${env.imageName}

                            # 删除镜像
                            sleep 2
                            docker rmi ${env.imageName}
                        """
                    }
                }
            }
        }

        stage("ReleaseFile"){
            steps{
                container("curl"){
                    script{

                        // 下载模板文件
                        projectId = 18
                        fileData = GetRepoFile(projectId,"values.yaml", "master" )
                        //println(fileData)

                        yamlData = readYaml text: fileData  

                        // 替换模板文件内容
                        yamlData.image.tag  = "${env.version}"
                        yamlData.image.repository = "${env.registry}/${env.buName}/${env.serviceName}"
                        
                        sh "rm -fr values.yaml"
                        writeYaml  charset: 'UTF-8', file: 'values.yaml', data: yamlData
                        sh "cat values.yaml"

                         //上传替换后的版本文件（新建文件或者更新文件）
                        newYaml = sh returnStdout: true, script: 'cat  values.yaml'
                        //println(newYaml)
                        //更新gitlab文件内容
                        base64Content = newYaml.bytes.encodeBase64().toString()

                        try {
                            CreateRepoFile(projectId,"values.yaml",base64Content, "master")
                        }catch(e){
                            UpdateRepoFile(projectId,"values.yaml",base64Content, "master")
                        }
                    }
                }
            }
        }
    }
}

//获取CommitID
def GetCommitID(){
    ID = sh returnStdout: true, script:"git rev-parse HEAD"
    ID = ID -"\n"
    return ID[0..7] 
}

//上传制品
def PushArtifact(targetDir, filePath, fileName){
    sh """
        curl -X POST "http://192.168.1.200:8081/service/rest/v1/components?repository=devops4-local" \
        -H "accept: application/json" \
        -H "Content-Type: multipart/form-data" \
        -F "raw.directory=${targetDir}" \
        -F "raw.asset1=@${filePath}/${fileName};type=application/java-archive" \
        -F "raw.asset1.filename=${fileName}" \
        -u admin:admin123
    """
}

//更新文件内容
def UpdateRepoFile(projectId,filePath,fileContent, branchName){
    apiUrl = "projects/${projectId}/repository/files/${filePath}"
    reqBody = """{"branch": "${branchName}","encoding":"base64", "content": "${fileContent}", "commit_message": "update a new file"}"""
    response = HttpReqByHttpRequest('PUT',apiUrl,reqBody)
    println(response)

}


//创建文件
def CreateRepoFile(projectId,filePath,fileContent, branchName){
    apiUrl = "projects/${projectId}/repository/files/${filePath}"
    reqBody = """{"branch": "${branchName}","encoding":"base64", "content": "${fileContent}", "commit_message": "update a new file"}"""
    response = HttpReqByHttpRequest('POST',apiUrl,reqBody)
    println(response)

}

//获取文件内容
def GetRepoFile(projectId,filePath, branchName ){
   //GET /projects/:id/repository/files/:file_path/raw
   apiUrl = "/projects/${projectId}/repository/files/${filePath}/raw?ref=${branchName}"
   response = HttpReq('GET', apiUrl)
   return response
}


// 封装HTTP
def HttpReqByHttpRequest(reqType, reqUrl,reqBody ){
    def gitServer = "http://192.168.1.200:8077/api/v4"
    withCredentials([string(credentialsId: '553fcb38-81e1-4cdd-aa60-a8886a2eb323', variable: 'GITLABTOKEN')]) {
        response = httpRequest acceptType: 'APPLICATION_JSON_UTF8', 
                          consoleLogResponseBody: true, 
                          contentType: 'APPLICATION_JSON_UTF8', 
                          customHeaders: [[maskValue: false, name: 'PRIVATE-TOKEN', value: "${GITLABTOKEN}"]], 
                          httpMode: "${reqType}", 
                          url: "${gitServer}/${reqUrl}", 
                          wrapAsMultipart: false,
                          requestBody: "${reqBody}"

    }
    return response
}

def HttpReq(method, apiUrl){
    response = sh  returnStdout: true, 
        script: """ 
            curl --location --request ${method} \
            http://192.168.1.200:8077/api/v4/${apiUrl} \
            --header 'PRIVATE-TOKEN: N9mvJV4hq-z7yCcYEsC-' 
        """
    return response

}

@Library("mylib@feature-k8s") _     //加载共享库


podYaml = """
kind: Pod
apiVersion: v1
metadata:
  labels:
    k8s-app: jenkinsagent
  name: jnlp
  namespace: devops
spec:
  securityContext:
    runAsUser: 0
  containers:
  - name: jnlp
    image: jenkins/inbound-agent:4.10-3-jdk8
    imagePullPolicy: IfNotPresent
  - name: maven
    image: maven:3.8.4-jdk-8
    imagePullPolicy: IfNotPresent
    command:
    - cat
    tty: true
  - name: dind
    image: 'docker:stable-dind'
    command:
    - dockerd
    - --host=unix:///var/run/docker.sock
    - --host=tcp://0.0.0.0:8000
    - --insecure-registry=192.168.1.200:8088
    securityContext:
      privileged: true
    volumeMounts:
    - mountPath: /var/run
      name: docker-dir
  - name: "docker"
    tty: true
    image: docker:19.03.15-git
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - mountPath: /var/run
      name: docker-dir
  - name: "curl"
    tty: true
    image: curlimages/curl:7.84.0
    imagePullPolicy: IfNotPresent
    command:
    - cat
  - name: "helm"
    tty: true
    image: dtzar/helm-kubectl:3.9.0
    imagePullPolicy: IfNotPresent
    command:
    - cat
  volumes:
    - name: docker-dir
      emptyDir: {}
"""

env.projectName = "${JOB_NAME}".split("_")[0]
env.buName = "${JOB_NAME}".split("-")[0]
env.serviceName = "${JOB_NAME}".split("_")[0]

pipeline{
    agent{
        kubernetes{
            label "test01"
            cloud 'kubernetes'
            yaml podYaml

        }
    }
    
    options {
        skipDefaultCheckout()
    }

    stages{
        stage("Checkout"){
            steps{
                script {            
                    
                    println("GetCode")
                    sh "[ -d ${env.serviceName} ] || mkdir ${env.serviceName}"
                    ws("${WORKSPACE}/${env.serviceName}"){
                        checkout([$class: 'GitSCM', 
                                branches: [[name: "${env.branchName}"]], 
                                extensions: [], 
                                userRemoteConfigs: [[credentialsId: '62a3150f-38f8-4c9d-9334-79072b1d75cc', 
                                                    url: "${env.srcUrl}"]]])
                        env.commitID = GetCommitID()
                        currentBuild.description = """ branchName: ${env.branchName} \n"""
                        currentBuild.displayName = "${env.commitID}"
                    }
                    
                }
            }
        }
        

        stage("HelmDeploy"){
            steps{
                container("helm"){
                    script{

                        withCredentials([file(credentialsId: 'cdcb0d0b-7420-4c7a-84dd-a47b57878999', variable: 'KUBE_CONFIG')]) {
                            content = sh returnStdout: true, script: "cat $KUBE_CONFIG"
                            writeFile file: './config', text: content
                        }

                        sh " mkdir -p /root/.kube ; mv config /root/.kube/"
                       
                        env.namespace = "${env.buName}"
                        env.appName = "${env.serviceName}"
                        currentBuild.description = "NS: ${env.namespace}"
                      
                        //Helm 发布
                        sh """
                            helm package "${env.appName}/" 
                            helm upgrade --install --create-namespace  "${env.appName}" ./"${env.appName}"-*.tgz -n ${env.namespace} 
                            helm history "${env.appName}"  -n ${env.namespace} 
                        """ 

                        //获取release的历史版本   
                        env.revision = sh returnStdout: true, script: """helm history ${env.appName} -n ${env.namespace}  | grep -v 'REVISION' | awk '{print \$1}' """
                        println("${env.revision}")
                        println("${env.revision.split('\n').toString()}")
                        env.REVISION = "${env.revision.split('\n').toString()}"
                        println("${env.REVISION}")

                        // 获取应用状态
                        5.times{
                            sh "sleep 2; kubectl -n ${env.namespace} get pod  | grep ${env.appName}"
                        }

                    }
                }
            }
        }

        stage("CheckHealth"){
            steps{
                container("curl"){
                    script{
                        sh """
                           echo "192.168.1.200 devops4.ops.service" >>/etc/hosts
                           """
                        result = sh returnStdout: true, script: """ curl "http://${env.domainName}/health" """
                        if (result == "ok\n"){
                            println("success!")
                        }
                    }
                }
            }
        }

        stage("RollOut"){
            input {
                message "是否进行回滚"
                ok "提交"
                submitter "zeyang,aa"
                parameters {
                    choice(choices: ['yes', 'no'], name: 'opts')
                }
            }

            steps{

                container("helm"){
                    script{
                        switch("${opts}") {
                            case "yes":
                                def result = input  message: "选择回滚版本?", 
                                parameters: [choice(choices: env.REVISION, name: 'rversion')]

                                println("${result}")
                                sh "helm rollback ${env.appName} ${result} -n ${env.namespace} "
                                break

                            case "no":
                            break
                        }
                    }
                }
            }
        }
    }
}

//获取CommitID
def GetCommitID(){
    ID = sh returnStdout: true, script:"git rev-parse HEAD"
    ID = ID -"\n"
    return ID[0..7] 
}

文章转载自公众号：DevOps云学堂

分类

标签

已于2023-7-18 11:35:48修改

赞

收藏

回复

举报

回复

相关推荐

Gradle最佳实践

lingyuli • 1.6w浏览 • 1回复
k8s部署redis-cluster集群

lancelottsang • 1.6w浏览 • 0回复
「SpringCloud」Docker + k8s打包部署——Maven打包配

ponymar • 1.2w浏览 • 0回复
监控实践: 基于K8S部署Prometheus+Grafana

kevinaoc • 3.1w浏览 • 4回复
如何修改 K8S Master节点 IP？可没想象中那么简单~

zaqi • 8863浏览 • 0回复
#云原生征文#二进制安装多master节点的k8s集群-1.20.7

风干工程师肉要不要 • 1.3w浏览 • 1回复
域名绑定动态IP最佳实践！！

Pike_Chen • 8092浏览 • 0回复
#夏日挑战赛# k8s节点如何从Harbor中拉取私有镜像？

键客李大白 • 1.2w浏览 • 3回复
kubeasz部署k8s集群实战

cuiyingfeng • 1.5w浏览 • 0回复
K8s 应用的网络可观测性： Cilium VS DeepFlow

树欲静而风不止 • 5755浏览 • 0回复
K8S | 核心原理分析

随风康康 • 2194浏览 • 0回复
K8s 原生支持的准入策略管理

看球不费电 • 2839浏览 • 0回复
ServiceAccount Token 在不同 K8s 版本中的使用

看球不费电 • 4308浏览 • 0回复
使用 RKE 方式搭建 K8s 集群并部署 NebulaGraph

smallmeteror • 3509浏览 • 0回复
K8S 中实现 AIOps 的 OpenAPI 项目介绍

love374 • 1840浏览 • 0回复
Jenkins 基于 Kubernetes 的动态和静态节点

WilliamGates • 2505浏览 • 0回复
Jenkins 基于 Kubernetes 的动态和静态节点

WilliamGates • 5668浏览 • 0回复
docker和k8s预研

老老老JR老北 • 2116浏览 • 0回复
基于K8s环境·使用ArgoCD部署Jenkins和静态Agent节点

icegoblin • 4337浏览 • 0回复

这个用户很懒，还没有个人简介

帖子

视频

声望

粉丝

关注

最近发布

云平台运维规范-下篇 2023-11-21 15:27:00发布
云平台运维规范-上篇 2023-11-21 15:19:24发布

热门推荐

#打开鸿蒙知识宝盒# 智问智答大师赛 104回复

#鸿蒙通关秘籍# 问答挑战赛（第三期）来啦！ 2回复

HarmonyOS基础：如何使tabbar/navbar背景色不能衍生到状态栏和导航栏？ 3回复

鸿蒙开发Hvigor插件动态生成代码 4回复

HarmonyOS：构建双模式计时器应用的实践 3回复

相关问题

K8s访问基于Linx环境的Ftp报错，求支援 1回答

k8s 上部署 nodelocaldns 的问题 1回答

k8s 集群 dns 解析问题 1回答

K8s 无法删除 namespace 的问题 1回答

k8s强制删除所有Pending的po 1回答

上一篇： DevOps如何解决技术债务挑战？

下一篇：可扩展 CI/CD 流水线示例：改善开发流程

社区精华内容

目录

Copyright © 2005-2024 51CTO.COM 京ICP证060544版权所有未经许可请勿转载