Gitlab+Jenkins+Docker+Harbor+K8s集群搭建CICD平台

上帝借由各种途径使人变得孤独，好让我们可以走向自己。 ——赫尔曼·黑塞《德米安》

CI即为 持续集成(Continue Integration,简称CI) ，用通俗的话讲，就是 持续的整合版本库代码编译后制作应用镜像 。建立有效的持续集成环境可以减少开发过程中一些不必要的问题、 提高代码质量、快速迭代 等,

Jenkins :基于Java开发的一种持续集成工具,用于监控持续重复的工作,旨在提供一个开放易用的软件平台,使软件的持续集成变成可能。

Bamboo : 是一个企业级商用软件,可以部署在大规模生产环境中。

CD即持续交付Continuous Delivery和持续部署Continuous Deployment，用通俗的话说，即可以持续的部署到生产环境给客户使用，这里分为两个阶段，持续交付我理解为满足上线条件的过程，但是没有上线，持续部署，即为上线应用的过程

关于 CD环境 ，我们使用以前搭建好的 K8s集群 ，K8s集群可以实现应用的 健康 检测，动态扩容，滚动更新 等优点，关于K8s集群的搭建，小伙伴可以看看我的其他文章

拉取镜像，启动并设置开机自启

配置docker加速器

GitLab 不多介绍。一个基于Git的版本控制平台，,提供了Git仓库管理、代码审查、问题跟踪、活动反馈和wiki，当然同时也提供了

切记:这里的端口要设置成80，要不push项目会提示没有报错，如果宿主机端口被占用，需要把这个端口腾出来

external_url 'http://192.168.26.55’

gitlab_rails[‘gitlab_ssh_host’] = '192.168.26.55’

gitlab_rails[gitlab_shell_ssh_port] = 222

修改完配置文件之后。直接启动容器

相关的git命令

下面我们要配置私有的docker镜像仓库，用到的机器为：

这里仓库我们选择 harbor ，因为有web页面，当然也可以使用 registry

首先需要设置selinux、防火墙

安装并启动docker并安装docker-compose，关于docker-compose，这里不用了解太多，一个轻量的docker编排工具

解压harbor 安装包：harbor-offline-installer-v2.0.6.tgz，导入相关镜像

修改配置文件

harbor.yml：设置IP和用户名密码

./prepare &&./install.sh

查看相关的镜像

访问测试

这里因为我们要在192.168.26.55(CI服务器)上push镜像到192.168.26.56(私仓)，所有需要修改CI服务器上的Docker配置。添加仓库地址

修改后的配置文件

加载使其生效

CI机器简单测试一下

push一个镜像，可以在私仓的web页面查看

镜像jenkins拉取

这里为什么要改成 1000，是因为容器里是以 jenkins 用户的身份去读写数据，而在容器里jenkins 的 uid 是 1000，

更换国内清华大学镜像,Jenkins下载插件特别慢，更换国内的清华源的镜像地址会快不少

"http://www.google.com/" 替换为 "http://www.baidu.com/"

替换后查看

重启docker，获取登录密匙

需要修改jenkins绑定的docker的启动参数 ， ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:2376 -H fd:// --containerd=/run/containerd/containerd.sock

修改镜像库启动参数后需要重启docker

后面 gitlab 要和 jenkins 进行联动，所以必须要需要对 jenkins 的安全做一些设置，依次点击 系统管理-全局安全配置-授权策略，勾选"匿名用户具有可读权限"

添加 JVM 运行参数-Dhudson.security.csrf.GlobalCrumbIssuerConfiguration.DISABLE_CSRF_PROTECTION=true 运行跨站请求访问

这里的话我们要通过jenkins上的kubectl客户端连接k8s,所以我们需要安装一个k8s的客户端kubectl，下载k8s客户端

然后拷贝kubeconfig 证书,k8s集群中查看证书位置,这里的证书是之前创建好的,小伙伴可以看看我之前的文章

命令测试没有问题

我们要部署 Nginx 来运行 hexo 博客系统， hexo 编译完后为一堆静态文件，所以我们需要创建一个 svc 和一个 deploy ，使用 SVC 提供服务，使用 deploy 提供服务能力,使用 Nginx+hexo的静态文件 构成的镜像

这里我们先用一个Nginx镜像来代替hexo博客的镜像

查看deployments和pod

访问测试没有问题，之后我们配置好jenkins上的触发器，直接替换就OK

我们通过 kubectl set 命令更新 deploy 的镜像时，获取的镜像是通过私仓获取的，所以需要在启动参数添加私仓地址

这里所有的节点都需要设置后重启docker

访问jenkins，接下来才是重点，我们要的jenkins上配置整个CICD流程，从而实现自动化

下面我们编译一下hexo，生成public的一个文件夹,然后上传gitlab

同时需要编写Dockerfile文件来创建镜像

如果你想在简历中写下你在linux运维项目中所担任的角色和所取得的成就，可以使用下列提示来组织你的内容：

项目名称：简要描述项目的目的和范围。

角色描述：详细描述你在项目中所扮演的角色，包括你的职责和贡献。

技术栈：列出你在项目中使用的技术，包括操作系统、软件、工具等。

成就：描述你在项目中取得的成就，包括解决的问题、实现的功能、达成的目标等。

反思：总结你在项目中学到的经验教训，并分享你在今后的项目中如何使用这些经验。

举个例子，你可以这样描述你的经历：

项目名称：搭建公司内部服务器集群

角色描述：负责搭建和维护公司内部服务器集群，包括配置服务器硬件、安装操作系统、配置网络服务和应用程序。

技术栈：CentOS 7、Docker、Ansible、Gitlab CI

成就：使用Docker容器化了公司内部服务，大幅缩短了服务部署时间；使用Ansible实现了批量管理服务器配置，提高了服务器维护效率；使用Gitlab CI实现了持续集成和部署，保证了服务质量。

反思：在这个项目中，我学到了如何使用容器化技术管理服务，并且了解到了持续集成和部署的重要性。在今后的项目中，我会继续使用这些技术来提高服务的可用性和稳定性。

希望这些信息对你有帮助。如果你有任何其他问题，请随时告诉我。

日前Gitlab博客宣布发布GitLab的又一个里程碑大版本12.0。该版本主推基于全栈DevOps的全供应链安全DevSecOps，从而实现真正意义上的开发，运维和安全的有机集成。另外代码审阅一直是Gitlab比较重点突击加强的功能新版本在可视化方面做了很多事情，可以极大快速提高代码审阅流程。另外还有项目依赖列表、基于IP ACL限制能安全功能方面的功能，更多的功能请跟着虫虫一起 探索 。

GitLab在用户级别整个单个用户的合并请求并自动创建审阅预览界面（Review App）。该功能可以让每一个用户都能知道设计或UX是如何改变的。

GitLab 12.0在Review App中加入将可视化审阅工具直，拓展变更审议的能力。通过一个小代码片段，用户可以使设计人员，产品经理和其他相关人员能够快速提供有关合并请求的反馈，而无需离开应用程序。

ULTIMATE版本新版本在项目左侧边栏菜单可以列出项目的依赖关系列表（有时称为物料清单或物BOM）。

BOM可以表明项目中包含哪些组件，安全团队和合规性团队通常会审查这些依赖的组件确保没有安全问题。可以浏览相关报告，并且支持以JSON格式导出。

限制Gitlab界面的访问一直都是大家很急需的功能，新版本商业版本中支持在Gitlab中进行IP（段）限制，加入黑名单机制限制访问IP，设置更加灵活，可以自建实例可以在组级别上设置限制。（当然可以通过nginx进行IP限制，方法需要可以联系）

在GitLab 12.0中，Web IDE中的更改可以自动同步到Web终端，在提交更改之前，可以在Web终端中对其进行测试。该功能可以降低新贡献者的入门门槛，因为他们无需安装项目的本地依赖项即可查看，编辑和测试。

通过GitLab的Kubernetes集成部署JupyterHub是一种简单方便地Jupyter Notebook环境构建。利用该环境可以创建和实时代码分享，可视化、运行以后books文件。

GitLab 12.0中如果通过Gitlab、K8s部署JupyterHub到集群时，会自动安装配置JupyterLab的Git扩展。然后通过Git对环境进行完全版本控制，在Jupyter中执行Git命令。可以通过左侧面板上的Git选项卡或通过Jupyter的命令行提示符执行。

通过extends关键字，把不同内容分割为不同文件在引入，可以保持用户CI/CD配置文件整洁。在GitLab 12.0中，可以允许用户在单个作业中包含多个扩展片段来改进此功能，并且通过多个扩展，可以实现整洁简化的CI配置（处女座管理员必备）。

在GitLab 12.0中新添加了GitLab CI/CD作业扩展和折叠日志的输出。用户可以更轻松地调试作业中的某些步骤，并在需要时浏览整体步骤。

gitlab公开了漏洞数据库项目（/gitlab-org/security-products/gemnasium-db）。用户可以查看具体条目并验证感兴趣的漏洞，也支持用户一起参与完善该咯多干数据库。

依靠LDAP的组织通常需要于GitLab同步以进行权限管理。在GitLab 12.0中，实例可以阻止具有实例级设置的非管理员在LDAP之外进行权限更改。通过该方法，具有合规性的组织可以使用这个选项来确保LDAP中的权限映射到Gitlab实例，而不能由非实例管理员的用户修改。

GitLab Ultimate 11.9（功能标志）中引入的GitLab Insights现在在GitLab Ultimate 12.0中默认启用。

可以统计项目中重要的数据的统计，比如给定时间段创建/关闭的问题，合并请求的平均合并时间等等。

在GitLab 11.8中，引入了从上游桥接作业触发下游管道的功能。还介绍了将变量传递给下游管道的基本支持。在GitLab 12.0中新增加支持将当前环境变量传递到下游管道。可以允许用户向下游管道提供上下文以及提交，合并请求或触发它的管道的其他细节。

在GitLab 11.11中，启动了依赖代理的MVC，它允许用户下载和缓存Docker镜像，以便更快，更可靠地下载。在GitLab 12.0中，在组级别默认启用了该功能。

Container Registry API允许GitLab用户以编程方式轻松管理注册。GitLab 12.0中更新了权限模型，以允许开发人员删除标签。

在GitLab 12.0中，当重新打包Git存储库时，bitmap缓存将保存在bitmap索引中。缓存提高了重打包性能。（3.5.0之前的 JGit 版本与bitmap不兼容）

在此版本之前，GitLab无服务器功能只能在通过GitLab安装的Knative上使用。在GitLab 12.0中以安装的Knative被GitLab Serverless利用。可以手动添加现有Knative集群，将相关的无服务器模板添加到项目中。所以GitLab Serverless可与托管的Knative产品一起使用，例如Google的GKE上的Cloud Run或在IBM托管的Knative服务。

从GitLab 12.0开始，可以直接从GitLab的环境仪表板中提供并轻松访问外部仪表板。

现有的用于讨论合并请求和问题的设计涉及许多框和边界，难以对对话进行跟踪。在新版本中，对此做了重新设计来增强用户的讨论体验。

动态应用程序安全性测试（DAST）不再需要在Docker中使用Docker来运行。因此，DAST Docker镜像（3GB）现在将在Runners上缓存。（注意镜像每周更新一次，因此缓存将在每周一失效）。

在12.0中，添加了为群组通知设置电子邮件地址的功能。可以让用户将组通知发送到不同的电子邮件地址。例如，工作组的工作电子邮件地址和个人组的个人电子邮件地址（个人设置项目里面有电子邮件菜单用以添加邮件地址）。

在解除扫描程序发现的漏洞时，新添加一个字段可用于添加详细说明此漏洞被解除的原因。

这将使安全团队和开发人员能够查看 历史 记录并了解未修复项目的原因。

由于审计等原因可能希望确保项目（可能包括存储库中的重要代码）只能存档，而不会被删除和永久丢失。新版本可以通过实例级设置来防止非管理员删除项目。

自GitLab 8.9起，GitLab CI/CD通过在作业定义中指定GIT_DEPTH变量来支持浅git克隆。新版本中添加了在项目级别设置clone深度的功能，项目维护者可设置默认为浅层克隆。浅Git克隆比每次克隆整个Git存储库更快，如果CI/CD作业设置为构建最新代码，通常浅的克隆就足够了。

同样在GitLab 12.0中，默认情况下，在GitLab中创建的新项目在创建时的GIT_DEPTH设置为50。该默认设置将帮助用户使用GitLab CI/CD实现更快的克隆和构建时间，同时仍允许高级用户在不同类型的CI/CD用例需要时更改此设置。

Fork工作流程创建一个副本，用户修改该副本并合并到上游项目，从而轻松地加速了协作，这也是Github等Git项目得以流行的功能。但是对一个热门的项目，可能会存在数以千计的副本，存储这些副本需要消耗大量的服务器资源。

GitLab 12.0中，实例管理员可以使用object_pools功能标志启用Git对象重复数据删除。启用后，创建公共分支也将创建对象池并使用objects/info/ alternates来减少分叉的存储要求。对象重复数据删除需要启用散列存储，并且父项目要使用散列存储。现有的forks还没有自动迁移到对象池。在后续即将将发布的版本中，会通过直接在重复数据删除状态下创建fork来实现快速fork。当前版本还需要首先创建fork，然后进行重复数据删除。

从2019年5月30日起，GitLab在线git服务已启用​​对象重复数据删除。自建实例但默认情况下关闭该功能，因为在获取时会显示重复警告。

手动添加Kubernetes集群需要输入多个数据点，并且容易出错。为了在手动添加集群解决访问和权限问题，kubernetes集成支持将验证API URL的可访问性以及集群令牌和CA证书的有效性。

在GitLab 12.0中，过Zoom电话会议轻松与团队成员就问题进行协作。在问题说明中粘贴会议链接。 GitLab将检测链接并在标题下方的顶部显示"加入Zoom会议"按钮，使其显示给所有协作者。

用户能够在问题中定义任务，并且该信息在整个应用程序的各个位置会显示。在GitLab 12.0中，用户可以通过API返回任务进度信息。

之前版本用户无法从问题API获取详细的问题统计信息。在GitLab 12.0中添加了返回所有、已关闭和已打开状态的问题统计的功能。

GitLab 12.0中Omnibus改进包括：

引入Mattermost 5.11，这是一个开源的Slack替代品，其最新版本包括一个新的远程CLI工具，及更多功能。此版本还包括安全更新，尽快升级到新版本来。

默认情况下启用JSON日志记录。

omnibus-gitlab默认会启用Grafana服务。此外，现在已经实现GitLab和Grafana自动启用OAuth身份验证。

使用一些直接检测的ruby指标改进了GitLab指标

GitLab还同期发布了GitLab Runner 12.0。主要变化如下：

Docker Credentials帮助程序支持；

在注册时为跑步者添加access_level配置；

允许Kubernetes Executor配置Pod安全上下文；

为新注册的Windows shell执行程序设置PowerShell默认值；

支持Windows docker卷配置。

同时GitLab Runner 12.0版本，也删除了一些此前弃用的东西：

删除已弃用的clone/fetch命令

删除已弃用的git clean策略

删除对已弃用的metrics_server设置的支持

删除对K8S的已弃用入口点配置的支持

删除对已弃用的S3缓存配置的支持

删除对已弃用分发的支持

删除旧的docker helper image命令

可以在GitLab Runner的CHANGELOG中找到所有更改的列表。

GitLab 12.0在性能方面的一些改进包括：

epics列表页面系能做了性能大幅度优化。

避免为Elasticsearch结果访问数据库，避免两次针对搜索结果点击Elasticsearch。

批量提交文档到ElasticSearch索引；

缓存在提交消息中呈现Markdown以提高列表提交的性能；

提高每次推送的存储库大小限制检查的性能；

使用长描述加载问题或合并请求时提高性能；

通过建议的更改提高合并请求的性能；

重新打包Git存储库时，通过使用delta岛来提高性能并减少克隆的CPU使用率；

提高监控图表的性能；

修复ListLastCommit RPC上的Git N+1；

使用--perl-regexp提高Git代码搜索性能；

通过修复Git N + 1来提高JobsController的性能；

GitLab的主要维护版本版本这中，删除对GitLab 9.x的支持。最低支持版本提高到GitLab 10.0。

启用日期：2019年6月22日

在GitLab 12.0，GitLab Geo需要使用Hashed Storage来缓解辅助节点上的竞争条件。请使用"sudo gitlab-rake gitlab：geo：check"检查是否启用了Hashed Storage并迁移了所有项目。

迁移日期：2019年6月22日

在GitLab 12.0中，Geo需要PostgreSQL外部数据包装器，将最低PostgreSQL版本提高到9.6。 GitLab Geo使用PostgreSQL Foreign Data Wrapper来查询来自不同PostgreSQL实例的数据。这是Geo Log Cursor所必需的，可以显著提高了某些同步操作的性能。 Foreign Data Wrapper还提高了Geo节点状态查询的性能。对于大型项目，遗留查询具有不可接受的性能。

迁移日期：2019年6月22日

在GitLab 12.1中将删除Kubernetes部署选择器的应用程序标签匹配（删除最初计划为12.0）。在GitLab 11.10的一部分，gitlab引入了一种新的匹配机制，它使用app.gitlab.com/app和app.gitlab.com/env来展示部署板上的部署。要在部署板中查看这些部署，需要做的就是推送新部署，GitLab将使用新标签进行部署。

移除日期：2019年6月22日

新的KUBE_INGRESS_BASE_DOMAIN环境变量在GitLab 11.8部分引入。不再需要使用AUTO_DEVOPS_DOMAIN来定义多个域，因为现在可以在群集页面上单独定义这些域。

移除日期：2019年6月22日

在GitLab 12.1中计划删除实例级Kubernetes服务模板，以支持在GitLab 11.11中引入的实例级集群功能。

作为升级到GitLab 12.0的一部分，任何使用服务模板的自建gitlab实例都将迁移到实例级集群。

移除日期：2019年6月22日

在GitLab 12.0中完全删除了对skip_auto_migrations文件的支持。该文件在GitLab 10.6中已被弃用。

移除日期：2019年6月22日

GitLab 12.0中完全取消了对Prometheus 1.x的支持。

移除日期：2019年6月22日

openSUSE 42.3将于2019年6月30日到期。gitlab将会在12.2中放弃支持。

移除日期：2019年8月22日

GitLab 11.9开始GitLab Runner一直在使用一种新方法来克隆/获取存储库。在目前版本，如果不支持新方法，GitLab Runner将使用旧方法。

在GitLab 11.0中，我们更改了为GitLab Runner配置度量服务器的方式。 metrics_server已被删除，转而使用GitLab 12.0中的listen_address。

在11.3中，GitLab Runner开始支持多个缓存提供程序。这导致特定于S3的配置的新设置。

GitLab 12.0中将不再提供这些路径。对于从11.9+以上的用户，直接升级不会有任何影响。

弃用日期：2019年6月22日

在GitLab 11.4中，GitLab Runner引入了一个功能标志FF_K8S_USE_ENTRYPOINT_OVER_COMMAND。在GitLab 12.0中，将删除这些功能标志。

移除日期：2019年6月22日

GitLab Runner中一些Linux发行版已达到End of Life支持。GitLab 12.0中，GitLab Runner不再提供专门分发包给过期的Linux发行版。

弃用日期：2019年6月22日

作为添加对Windows Docker执行程序的支持的一部分，需要弃用一些用于帮助程序镜像的旧命令。在GitLab 12.0中，GitLab Runner开始使用新命令。这仅影响覆盖帮助程序镜像的用户。

迁移日期：2019年6月22日

使用GitLab Runner 11.10引入了一种配置Runner如何执行git clean命令的方法。新的清理策略删除了git reset的使用，并在checkout之后删除了git clean命令。在GitLab Runner 12.0中，GitLab Runner放弃了对旧版清理策略的支持，并删除了使用功能标志设置恢复该功能的方法。

弃用日期：2019年6月22日

许可证管理做了重新命名以便更好地与GitLab 12.0中的常见行业用语一致。许可证合规性的目的是分析应用程序，跟踪第三方组件（如库和外部依赖项）使用的许可证，并检查它们是否与项目的许可模型兼容。许可证合规性安全软件组合分析组的一部分。

迁移日期：2019年6月22日

命令行参数--auth-first-page，不再受支持，需要删除此参数。

DEP_SCAN_DISABLE_REMOTE_CHECKS标志变量，不再受支持，需要删除此参数。

GITLAB_FEATURES环境变量中的sast_container值，必须更改为container_scanning。

迁移日期：2019年6月22日

新版本不再更新在项目管道中配置安全功能时使用的文档中安全手动配置代码段。请使用include: template: Dependency-Scanning.gitlab-ci.yml配置中使用Secure的include。

弃用日期：2019年6月22日

为了缓解这种情况，默认情况下将禁用前进3DES。对于现代浏览器的用户，这不应该改变任何内容，但是在Windows XP操作系统上运行的Internet Explorer版本7和8的某些用户可能会受到影响。

弃用日期：2019年6月22日

GitLab 12.0是支持MySQL（和MariaDB）的最后一个版本。用户需要迁移到PostgreSQL才能使用未来版本。 MySQL已被弃用，对它的支持以前仅限于Enterprise Edition Starter和Premium。

弃用日期：2019年7月22日

GitLab 12.1中的UI中会删除这些设置，该策略已在GitLab 11.11中的gitlab.yml中提供。此外，还可以定义Sentry环境，以区分开发，stagin和生产等多个部署。

迁移日期：2019年7月22日

当我们在GitLab 11.6中引入组级项目模板时，将该功能扩大化了。通过给予低于Silver/Premium的现有用户/实例三个月的宽限期来修复GitLab 11.11中的这个错误。2019年8月22日，此宽限期将到期，组项目模板将需要Silver/ remium或更高版本。

迁移日期：2019年8月22日

如果使用Python 2的用户在开始使用GitLab 12.2时进行自我管理，则需要将CI变量LM_PYTHON_VERSION设置为"2"。使用Python 3的用户现在可以将CI变量LM_PYTHON_VERSION更改为"3"。

迁移日期：2019年8月22日

在GitLab 12.3计划弃用GitLab Runner中的Windows批处理命令行作业（例如cmd.exe），以支持对Windows PowerShell的扩展和扩展支持。对于可能仍希望针对cmd.exe运行项目的用户，可以从PowerShell调用这些命令，但不会为Windows批处理提供直接支持。

弃用日期：2019年9月22日

使用GitLab Runner 11.10，当使用Docker和Docker Machine执行程序已更改了共享卷中缓存作业目录部分。 GitLab Runner现在缓存使用builds_dir配置的整个基本目录，而不是仅缓存作业工作目录的父目录。因为它是一个行为改变，我们添加了一个功能标志，允许控制是否应该使用新的或旧的行为。在GitLab Runner 12.3，将删除功能标志和旧有行为。

迁移日期：2019年9月22日

Python 2.7在2020年1月1日达到其生命周期，因此将在未来的GitLab版本中删除对Python 2的支持。

迁移日期：2019年12月22日

如果使用Omnibus安装自建实例，通过发行版办的包管理器直接升级即可：

比如CentOS下可以直接通过yum updata gitlab-ce自动完成升级过程。

GitLab 12.0将Enterprise Edition多年来进行的数据库更改合并到Community Edition中。作为这项工作的一部分，还删除了各种旧迁移。升级到GitLab 12的用户必须先升级到最新的 11.11 补丁版本，然后再升级到 12.0.0 。升级到12.1.0等未来版本时，用户必须先升级到12.0.0。如果不按照此顺序升级可能会导致数据迁移未成功，从而导致应用程序错误。 Omnibus安装会先强制升级到12.0.0。 通过源码安装用户必须按照这个顺序受手动处理 （XX-> 11.11->12.0 ->YY）。

GitLab 12.0默认使用Hashed Storage。这会影响新安装。

GitLab 12.0将自动将PostgreSQL版本升级到10.0。

用户可以跳过PostreSQL 10.0的自动升级，创建/etc/gitlab/ disable-postgresql-upgrade。

如果使用GitLab Geo，将在主节点和所有辅助节点上跳过自动PostgreSQL升级。我们将在12.1中为Geo用户提供升级路径。

默认情况下，GitLab 12.0将启用JSON日志记录。并提供了保留以前非JSON的日志格式的设置文档。

---