欲买桂花同载酒,终不似,少年游。
持续集成( Continuous integration , 简称 CI )指的是,频繁地(一天多次)将代码集成到主干
持续集成的组成要素
软件开发生命周期又叫做SDLC(Software Development Life Cycle),它是集合了计划、开发、测试和部署过程的集合。如下图所示 :
需求分析
这是生命周期的第一阶段,根据项目需求,团队执行一个可行性计划的分析。项目需求可能是公司内部或者客户提出的。这阶段主要是对信息的收集,也有可能是对现有项目的改善和重新做一个新的项目。还要分析项目的预算多长,可以从哪方面受益及布局,这也是项目创建的目标。
设计
第二阶段就是设计阶段,系统架构和满意状态(就是要做成什么样子,有什么功能),和创建一个项目计划。计划可以使用图表,布局设计或者文字的方式呈现。
实现
第三阶段就是实现阶段,项目经理创建和分配工作给开者,开发者根据任务和在设计阶段定义的目标进行开发代码。依据项目的大小和复杂程度,可以需要数月或更长时间才能完成。
测试
测试人员进行代码测试 ,包括功能测试、代码测试、压力测试等。
进化
最后进阶段就是对产品不断的进化改进和维护阶段,根据用户的使用情况,可能需要对某功能进行修改,bug修复,功能增加等。
瀑布模型是最著名和最常使用的软件开发模型。瀑布模型就是一系列的软件开发过程。它是由制造业繁衍出来的。一个高度化的结构流程在一个方向上流动,有点像生产线一样。
在瀑布模型创建之初,没有其它开发的模型,有很多东西全靠开发人员去猜测,去开发。这样的模型仅适用于那些简单的软件开发, 但是已经不适合现在的开发了。
下图对软件开发模型的一个阐述。
优势 | 劣势 |
---|---|
简单易用和理解 | 各个阶段的划分完全固定,阶段之间产生大量的文档,极大地增加了工作量。 |
当前一阶段完成后,您只需要去关注后续阶段。 | 由于开发模型是线性的,用户只有等到整个过程的末期才能见到开发成果,从而增加了开发风险。 |
为项目提供了按阶段划分的检查节点 | 瀑布模型的突出缺点是不适应用户需求的变化。 |
什么是敏捷开发?
敏捷开发(Agile Development) 的核心是迭代开发(Iterative Development) 与 增量开发(Incremental Development)。
何为迭代开发?
对于大型软件项目,传统的开发方式是采用一个大周期(比如一年)进行开发,整个过程就是一次"大开发";迭代开发的方式则不一样,它将开发过程拆分成多个小周期,即一次"大开发"变成多次"小开发",每次小开发都是同样的流程,所以看上去就好像重复在做同样的步骤。
何为增量开发?
软件的每个版本,都会新增一个用户可以感知的完整功能。也就是说,按照新增功能来划分迭代。
敏捷开发如何迭代?
虽然敏捷开发将软件开发分成多个迭代,但是也要求,每次迭代都是一个完整的软件开发周期,必须按照软件工程的方法论,进行正规的流程管理。
敏捷开发有什么好处?
早期交付
敏捷开发的第一个好处,就是早期交付,从而大大降低成本。
降低风险
敏捷开发的第二个好处是,及时了解市场需求,降低产品不适用的风险。
Jenkins 是一款流行的开源持续集成(Continuous Integration)工具,广泛用于项目开发,具有自动化构建、测试和部署等功能。
官网: http://jenkins-ci.org/
Jenkins的特征:
Jenkins安装和持续集成环境配置
镜像资料: https://pan.baidu.com/s/1kyoR8WEZ1n43nmCLbtslZQ?pwd=abcd
服务器: 用户名 root
、密码:itcast
、地址: http://192.168.200.100:16060/
jenkins: 用户名:itcast
密码:itcast
# 加入jenkins安装源
sudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo --no-check-certificatesudo rpm --import https://pkg.jenkins.io/redhat-stable/jenkins.io.key
# 安装
yum -y install jenkins
Jenkins安装包下载地址: https://pkg.jenkins.io/redhat-stable/
# 安装包下载
wget https://pkg.jenkins.io/redhat-stable/jenkins-2.190.1-1.1.noarch.rpm
# 执行安装
rpm -ivh jenkins-2.190.1-1.1.noarch.rpm
# 修改配置文件
vi /etc/sysconfig/jenkins# 修改内容
# 修改为对应的目标用户, 这里使用的是root
$JENKINS_USER="root"
# 服务监听端口
JENKINS_PORT="16060"# 目录权限
chown -R root:root /var/lib/jenkins
chown -R root:root /var/cache/jenkins
chown -R root:root /var/log/jenkins# 重启
systemctl restart jenkins# 重启失败(错误信息)
Starting Jenkins bash: /usr/bin/java: No such file or directory# 创建JAVA环境的软链接
ln -s /usr/local/jdk/bin/java /usr/bin/java
# 输入管理密码
cat /var/lib/jenkins/secrets/initialAdminPassword
在实现持续集成之前, 需要确保以下插件安装成功。
安装方法:
进入【系统管理】-【插件管理】
点击标签页的【可选插件】,在过滤框中搜索插件名称
3. 勾选插件, 点击直接安装即可。
注意,如果没有安装按钮,需要更改配置。
在安装插件的高级配置中,修改升级站点的连接为:http://updates.jenkins.io/update-center.json 保存
# yum 安装方式
yum -y install git# 安装依赖包
yum -y install curl-devel expat-devel gettext-devel openssl-devel zlib-devel
yum -y install gcc perl-ExtUtils-MakeMaker# 如果之前有安装旧版本, 先做卸载, 没有安装则忽略
yum remove git# 下载源码包
cd /usr/local
wget https://mirrors.edge.kernel.org/pub/software/scm/git/git-1.8.3.1.tar.gz
tar -xvf git-1.8.3.1.tar.gz# 也可以安装其他版本
# 地址:https://mirrors.edge.kernel.org/pub/software/scm/git/# 编译安装
cd git-1.8.3.1
make prefix=/usr/local/git all
make prefix=/usr/local/git install
echo "export PATH=$PATH:/usr/local/git/bin" >> /etc/bashrc
source /etc/bashrc# 检查git版本
git version
# 下载安装包
下载地址: https://maven.apache.org/download.cgi# 解压安装包
cd /usr/local
unzip -o apache-maven-3.6.1.zip # 上传本地仓库并解压# 环境变量配置
vi /etc/profile# 增加
export MAVEN_HOME=/usr/local/maven/apache-maven-3.6.1
export PATH=$PATH:$MAVEN_HOME/bin# 如果权限不够,则需要增加当前目录的权限
chmod 777 /usr/local/maven/apache-maven-3.6.1/bin/mvn# 修改镜像仓库配置
vi /usr/local/maven/apache-maven-3.6.1/conf/settings.xml# 需要把本机的仓库打包上传到服务器上(不上传会自动下载)
# 然后指定上传后的仓库配置
# 更新软件包版本
yum -y update# 卸载旧版本
yum -y remove docker docker-common docker-selinux docker-engine# 安装软件依赖包
yum install -y yum-utils device-mapper-persistent-data lvm2# 设置yum源为阿里云
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo# 安装后查看docker版本
docker -v# 设置开机启动
systemctl enable docker# 启动docker
systemctl start docker
全局工具配置:
MAVEN配置全局设置:
指定JDK配置:
指定MAVEN 目录:
指定DOCKER目录:
在项目开发部署的过程中,一般都会有三套项目环境
例如:开发环境的mysql连接的是本地,生产环境需要连接线上的mysql环境
1. 在微服务中的bootstrap.yml中新增配置
server:port: 51801
spring:application:name: leadnews-usercloud:nacos:discovery:server-addr: 192.168.200.130:8848config:server-addr: 192.168.200.130:8848file-extension: ymlprofiles:active: dev
2. 在nacos的配置中心中新增各个环境的配置文件,例如user微服务中新增:
修改bootstrap.yml 添加内容
spring:profiles:active: dev
3. 创建对应的nacos的多环境配置:
注意事项:
其中DataID属性命名有规范:
- prefix,默认使用${spring.application.name},也可以通过spring.cloud.nacos.config.prefix来配置。
- spring.profile.active,即为当前环境对应的 profile,详情可以参考 Spring Boot文档。 注意:当 spring.profile.active 为空时,对应的连接符 - 也将不存在,dataId 的拼接格式变成 prefix.{prefix}.prefix.{file-extension}
- file-exetension,为配置内容的数据格式,可以通过配置项 spring.cloud.nacos.config.file-extension 来配置。目前只支持 properties 和 yaml 类型。
目标: 把黑马头条的app端相关的微服务部署到192.168.200.100这台服务器上
目标: 部署的每一个微服务都是先创建docker镜像后创建对应容器启动
方式一: 本地微服务打包以后上传到服务器,编写Dockerfile文件完成。
方式二: 使用dockerfile-maven-plugin插件,可以直接把微服务创建为镜像使用(更省事)
服务集成Docker配置
每个微服务都引入该依赖,以heima-leadnews-user微服务为例
heima-leadnews-service com.heima 1.0-SNAPSHOT 4.0.0 heima-leadnews-user 8 8 docker_storage heima-leadnews-user org.springframework.boot spring-boot-maven-plugin repackage org.apache.maven.plugins maven-compiler-plugin 3.7.0 ${java.version} com.spotify dockerfile-maven-plugin 1.3.6 ${docker.image}/${project.artifactId} target/${project.build.finalName}.jar
服务集成Dockerfile文件
# 设置JAVA版本
FROM java:8
# 指定存储卷, 任何向/tmp写入的信息都不会记录到容器存储层
VOLUME /tmp
# 拷贝运行JAR包
ARG JAR_FILE
COPY ${JAR_FILE} app.jar
# 设置JVM运行参数, 这里限定下内存大小,减少开销
ENV JAVA_OPTS="\
-server \
-Xms256m \
-Xmx512m \
-XX:MetaspaceSize=256m \
-XX:MaxMetaspaceSize=512m"
#空参数,方便创建容器时传参
ENV PARAMS=""
# 入口点, 执行JAVA运行命令
ENTRYPOINT ["sh","-c","java -jar $JAVA_OPTS /app.jar $PARAMS"]
在微服务运行之前需要在本地仓库中先去install所依赖的jar包,所以第一步应该是从git中拉取代码,并且把基础的依赖部分安装到仓库中
1,父工程heima-leadnews
2,找到自己指定的git仓库,设置用户名和密码
3,把基础依赖信息安装到服务器上的本地仓库
4,执行日志,部分截图,下面是从git中拉取代码
执行日志,部分截图,编译打包
执行日志,部分截图,执行成功
所有微服务打包的方式类似,以heima-leadnews-user微服务为例
1,新建任务
2,找到自己指定的git仓库,设置用户名和密码
3,执行maven命令
clean install -Dmaven.test.skip=true dockerfile:build -f heima-leadnews/heima-leadnews-service/heima-leadnews-user/pom.xml
注意:根据自己的实际代码路径配置
-Dmaven.test.skip=true 跳过测试
dockerfile:build 启动dockerfile插件构建容器
-f heima-leadnews-user/pom.xml 指定需要构建的文件(必须是pom)
4,并执行shell脚本
if [ -n "$(docker ps -a -f name=$JOB_NAME --format '{{.ID}}' )" ]then#删除之前的容器docker rm -f $(docker ps -a -f name=$JOB_NAME --format '{{.ID}}' )
fi# 清理镜像
docker image prune -f # 启动docker服务
docker run -d --net=host -e PARAMS="--spring.profiles.active=prod" --name $JOB_NAME docker_storage/$JOB_NAME
5,执行日志
拉取代码
编译打包
构建镜像
清理容器,创建新的容器
目标:使用jenkins(192.168.200.100)把微服务打包部署到192.168.200.130服务器上
对于持续集成环境的配置,Jenkins会发布大量的微服务, 要与多台机器进行交互, 可以采用docker镜像的保存与导出功能结合SSH实现, 但这样交互繁琐,稳定性差, 而且不便管理, 这里我们通过搭建Docker的私有仓库来实现, 这个有点类似GIT仓库, 集中统一管理资源, 由客户端拉取或更新。
1. 下载最新Registry镜像
docker pull registry:latest
2. 启动Registry镜像服务
docker run -d -p 5000:5000 --name registry -v /usr/local/docker/registry:/var/lib/registry registry:latest
映射5000端口; -v是将Registry内的镜像数据卷与本地文件关联, 便于管理和维护Registry内的数据。
3. 查看仓库资源
访问地址:http://192.168.200.100:5000/v2/_catalog
启动正常, 可以看到返回:
{"repositories":[]}
目前并没有上传镜像, 显示空数据。如果上传成功, 可以看到数据:
4. 配置Docker客户端
正常生产环境中使用, 要配置HTTPS服务, 确保安全,内部开发或测试集成的局域网环境,可以采用简便的方式, 不做安全控制。
先确保持续集成环境的机器已安装好Docker客户端, 然后做以下修改:
vi /lib/systemd/system/docker.service
修改内容:
ExecStart=/usr/bin/dockerd --insecure-registry 192.168.200.100:5000
指向安装Registry的服务IP与端口。重启生效:
systemctl daemon-reolad
systemctl restart docker.service
位置:Manage Jenkins–>Configure System
需要添加凭证
位置:Manage Jenkins–>Manage CreDentials
添加链接到130服务器的用户名和密码
创建项目参考之前创建过的用户微服务
maven命令
clean install -Dmaven.test.skip=true dockerfile:build -f heima-leadnews/heima-leadnews-service/heima-leadnews-article/pom.xml
shell脚本
image_tag=$docker_registry/docker_storage/$JOB_NAME
echo '================docker镜像清理================'
if [ -n "$(docker ps -a -f name=$JOB_NAME --format '{{.ID}}' )" ]then#删除之前的容器docker rm -f $(docker ps -a -f name=$JOB_NAME --format '{{.ID}}' )
fi# 清理镜像
docker image prune -f # 创建TAG
docker tag docker_storage/$JOB_NAME $image_tag
echo '================docker镜像推送================'
# 推送镜像
docker push $image_tag
# 删除TAG
docker rmi $image_tag
echo '================docker tag 清理 ================'
远程服务器执行的shell脚本
echo '================拉取最新镜像================'
docker pull $docker_registry/docker_storage/$JOB_NAMEecho '================删除清理容器镜像================'
if [ -n "$(docker ps -a -f name=$JOB_NAME --format '{{.ID}}' )" ]then#删除之前的容器docker rm -f $(docker ps -a -f name=$JOB_NAME --format '{{.ID}}' )
fi# 清理镜像
docker image prune -f echo '===============启动容器================'
docker run -d --net=host -e PARAMS="--spring.profiles.active=prod" --name $JOB_NAME $docker_registry/docker_storage/$JOB_NAME
镜像
容器
upstream heima-app-gateway{server 192.168.200.100:51601;
}
触发远程构建,修改jenkins的配置,如下
触发构建url: http://192.168.200.100:16060/job/leadnews-admin/build?token=88888888
配置需要触发的工程
定时字符串从左往右分别为: 分 时 日 月 周
定时构建-定时表达式
定时字符串从左往右分别为: 分 时 日 月 周
组成部分 | 含义 | 取值范围 |
---|---|---|
第一部分 | minute (分) | 0~59 |
第二部分 | hour(小时) | 0~23 |
第三部分 | day(天) | 1~31 |
第四部分 | month(月) | 1~12 |
第五部分 | week(周) | 0~7,0 和 7 都是表示星期天 |
案例:
轮询SCM,是指定时扫描本地代码仓库的代码是否有变更,如果代码有变更就触发项目构建。
Jenkins会定时扫描本地整个项目的代码,增大系统的开销,不建议使用。
上一篇:Go项目(订单微服务)