建站
咨詢
售后
建站咨詢
新聞中心
云計算的普及，不僅改變了目前的 IT 基礎設施與企業(yè)系統(tǒng)架構，同時也改變了技術團隊的組織架構和企業(yè)內(nèi)部的研發(fā)流程。而持續(xù)集成（CI）和持續(xù)交付（CD）就是企業(yè)內(nèi)部研發(fā)流程提升交付效率的關鍵。
創(chuàng)新互聯(lián)主要從事做網(wǎng)站、成都網(wǎng)站設計、網(wǎng)頁設計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務。立足成都服務靈璧,十年網(wǎng)站建設經(jīng)驗,價格優(yōu)惠、服務專業(yè),歡迎來電咨詢建站服務:18980820575
CI/CD 的核心價值是效能與質量。效能提升的關鍵在于自動化，它包含了兩個方面：一是整個軟件研發(fā)流程自動化，降低人力成本；二是 CI/CD 平臺在業(yè)務接入、資源管理、線上支持、問題排查等諸多方面實現(xiàn)自動化，從而減少技術支撐方面的成本。而質量保障，一方面是研發(fā)質量，需要提供相應的質量檢查與測試工具；另一方面是過程質量，CI/CD 平臺需要能夠持續(xù)采集研發(fā)流程中的指標數(shù)據(jù)（如交付頻率、交付周期、交付成功率），建立起一個完善的質量度量體系。
目前各大公司的 CI/CD 平臺，在工具選型、落地實現(xiàn)等方面各有不同，此次 InfoQ 采訪到了網(wǎng)易杭州研究院高級產(chǎn)品開發(fā)工程師汪燦豐和高級服務端開發(fā)工程師梅光輝，他們分享了網(wǎng)易輕舟在 CI/CD 方面的實踐。由于干貨內(nèi)容太多，我們將這次實踐分為了上中下三篇內(nèi)容，分別介紹網(wǎng)易的 CI 實踐、CD 實踐、測試自動化及 API 版本管理。
1. 網(wǎng)易 CI/CD 實踐的背景
據(jù)了解，網(wǎng)易的大部分互聯(lián)網(wǎng)產(chǎn)品業(yè)務團隊都是使用統(tǒng)一的平臺來進行 CI/CD 實踐，目前平臺上運行著數(shù)萬個倉庫，活躍倉庫近萬個，同時平臺內(nèi)還有大量副本數(shù)超過數(shù)千個的服務，這些服務每天承載著業(yè)務方大量的訪問。
為了適應業(yè)務發(fā)展的節(jié)奏，網(wǎng)易內(nèi)部廣泛推行了敏捷開發(fā)，每天通過平臺發(fā)布應用的次數(shù)達到數(shù)萬次，產(chǎn)品迭代節(jié)奏快，交付周期短。所有業(yè)務使用統(tǒng)一的平臺進行 CI/CD，無需各自搭建，降低成本，使用統(tǒng)一的規(guī)范，避免了相同問題的多次采坑。
網(wǎng)易公司內(nèi)部的 CI/CD 實踐主要是輕舟 CI/CD 平臺，該平臺提供了可視化的流水線編排界面，一次配置，多次運行，支持團隊成員共享配置。每次提交或者合并代碼都會自動觸發(fā)流水線的執(zhí)行，自動將代碼發(fā)布到環(huán)境上。數(shù)據(jù)顯示 CI/CD 流水線相比傳統(tǒng)的手工或腳本方式平均效率提升了 5 倍以上，發(fā)布效率提升了 8 倍以上。另外通過整合多種自動化測試工具幫助業(yè)務方實現(xiàn)高質量的集成。通過可視化度量平臺從多個維度了解構建，部署的相關指標數(shù)據(jù)，幫助產(chǎn)品提高發(fā)布效率。
之前，網(wǎng)易內(nèi)部有一套從主機部署時代發(fā)展過來的自動化部署平臺，但是其對容器部署的支持不友好，部署之前需要先在服務器上部署 agent，注冊到內(nèi)部 CMDB，再下發(fā)指令執(zhí)行。這樣的執(zhí)行操作注定了這個平臺在大批量部署場景下會存在性能瓶頸。
基于原平臺存在的性能問題，以及對業(yè)務容器化、微服務化演進的判斷，網(wǎng)易研發(fā)了新的輕舟 CI/CD 平臺，成為了網(wǎng)易云原生技術棧的重要組成部分，滿足云原生環(huán)境下企業(yè)在能效、團隊協(xié)作效率、產(chǎn)品迭代速度等多方面的需求。
在使用體驗上，輕舟 CI/CD 是一體的，但是在系統(tǒng)架構設計方面，其實是分開的。下面，我們就分別來講講 CI 和 CD 的系統(tǒng)設計。
2. 網(wǎng)易 CI 實踐的整體架構及工具選型
與絕大多數(shù)互聯(lián)網(wǎng)公司一樣，網(wǎng)易內(nèi)部各業(yè)務方的持續(xù)集成也大都是由研發(fā)團隊的 QA 負責的，CI 工具選擇了比較常用的 Jenkins，同時在流水線的上下游整合了其它的主流 CI 工具。整個流水線平臺依托于 Kubernetes，基于 K8s 的 CRD（自定義資源）重新設計了流水線上層模型，并通過 Operator 驅動流水線執(zhí)行過程。
當流水線觸發(fā)一次執(zhí)行時，將會產(chǎn)生一個 PipelineRun 對象，Operator 將會根據(jù)對應的流水線預先定義好的階段生成對應的 Job，然后通過 Jenkins 的 API 觸發(fā) Job 執(zhí)行。Job 執(zhí)行完成后，將會通過 Webhook 回調上層服務接口，將狀態(tài)回寫到 PipelineRun 中，然后觸發(fā)下一個階段的執(zhí)行。
CI 工具選型
傳統(tǒng)的持續(xù)集成實踐本身就很占資源，編譯構建對磁盤、CPU，甚至是網(wǎng)絡都有一定的要求，如果在高峰期想要保證持續(xù)集成任務能夠及時運行，通常需要預留大量的構建機資源，這不僅會導致資源浪費，同時也需要更多人力來維護管理，成本會很高。
所以，網(wǎng)易技術團隊在進行 CI 工具選型時，就直接圈定了 4 個當前主流的工具，分別是 Travis CI、Circle CI、GitLab CI 和 Jenkins，并詳細對比了 4 個工具。
其中，Travis CI、CircleCI 在 Github 開源項目中使用較多，但不支持私有化部署，不適合公司實踐；GitLab CI 可以與代碼倉庫無縫集成，且天然支持 GitOps，但整體生態(tài)目前并不成熟，需要自己制作 builder 的鏡像，并與 Gitlab 深度綁定；Jenkins 作為傳統(tǒng)的 CI 工具，社區(qū)和生態(tài)都比較完善，Jenkins 2.0 版本提供了 Pipeline as code 的特性，可以將 CI 過程納入版本管理，支持 GitOps。此外，Jenkins 社區(qū)也誕生了 kubernetes-plugin 這樣的插件，可以將流水線的執(zhí)行從傳統(tǒng)的物理機轉移到容器中，再依托 Kubernetes 強大的調度能力，就可以實現(xiàn)資源的動態(tài)調度和編排。
基于以上原因，網(wǎng)易輕舟最終選擇了 Jenkins，但是傳統(tǒng)的 Jenkins 在系統(tǒng)運維、資源管理、使用方式等方面，存在很多問題。例如，Jenkins 的 master-slave 架構比較經(jīng)典，但由于誕生時間較早，所有配置和數(shù)據(jù)都是基于文件存儲的（存儲在 Jenkins master 節(jié)點 home 目錄下），修改時，會先更新內(nèi)存，然后異步寫入磁盤，而當?shù)讓游募桓聲r，Jenkins 并不會自動 reload 更新后的數(shù)據(jù)，因此，很難做到高可用；Jenkins master 實例對文件目錄是獨占的，不同 Jenkins 實例也無法共享底層存儲...... 因此，網(wǎng)易技術團隊希望能夠在傳統(tǒng) Jenkins 版本中做出以下改進：
- 結合 Docker/Kubernetes 云原生技術棧，解決傳統(tǒng) Jenkins 使用中的痛點；
- 通過將業(yè)內(nèi)最佳實踐固化到產(chǎn)品中，解決易用性的問題，降低用戶使用門檻，提高接入效率；
- 重新設計上層流水線模型，提供更加強大的流水線編排調度能力；
- 自研流水線底層組件，替代 Jenkins 插件，提供更加靈活的擴展能力，方便與公司內(nèi)部系統(tǒng)進行集成；
- 提供豐富的企業(yè)級特性（如認證、鑒權、審計、告警、通知等），滿足企業(yè)客戶需求；
除了 Jenkins，網(wǎng)易輕舟在整個流水線的上下游也整合了其它的主流 CI 工具，例如：
- 代碼倉庫：支持 Git/SVN，可以適配絕大多數(shù)代碼托管平臺，并且對 Gitlab 做了深度適配，例如，支持從 Gitlab Webhookpayload 中提取各類參數(shù)；
- 代碼掃描：集成了 SonarQube，支持了所有主流的編程語言；
- 單元測試：整合了 Java 中常用的 Jacoco 工具，方便用戶在運行單元測試時，生成對應的 UT 和覆蓋率報告；
- 代碼編譯：Java 支持了 Maven/Gradle，并且內(nèi)置了 Nexus 私服，方便做內(nèi)網(wǎng)代理；Node.js 支持了 Npm；Golang 支持了 go mod 緩存加速；
- 鏡像構建：支持 Docker out of Docker、Kaniko 兩種構建方式，用戶可以根據(jù)自身需求選擇使用；
- 鏡像倉庫：整合了 Harbor，支持 Harbor webhook，并且集成了 Harbor 的鏡像掃描和鏡像復制功能；
- 容器部署：支持 kubectl 原生部署、升級，以及輕舟 CI/CD 應用部署等多種部署方式；
- 自動化測試：支持 Java 語言常用的 TestNG，同時整合了網(wǎng)易內(nèi)部的 GoAPI 測試平臺，支持在流水線中運行指定的接口測試集，并在執(zhí)行時輸出測試報告；
- 告警通知：集成了郵件發(fā)送、短信告警、網(wǎng)易 POPO 等多種通知方式；
據(jù)了解，目前國內(nèi)大部分公司對 Jenkins 的使用方式依然停留在 1.0 的時代，很多人都還在使用 Jenkins 的 UI 配置方式，并沒有使用到 Jenkins 2.0 提供的 Pipeline as code 功能，并且在使用場景上，大量依賴一些自定義腳本，這些腳本通常由 QA 同學事先預置在機器上，一旦機器出現(xiàn)宕機或故障，遷移起來成本也很高。相較之下，選擇更新版本的 Jenkins，使用更前沿的功能，并適時輔以其它 CI 工具，往往會有更好的效果。
3. 網(wǎng)易 CI 實踐的分支管理與協(xié)作流程
所有 CI 實踐的源頭一定是代碼變更，好的代碼分支管理和版本變更規(guī)范是做好 CI 實踐的前提。網(wǎng)易輕舟是基于 GitFlow 進行代碼管理和協(xié)作流程的，主要的階段包括預發(fā)驗證、測試驗證和代碼審查、集成、驗證。
網(wǎng)易輕舟 CI 實踐中的主要分支有 devlop 和 master，輔助分支包括 feature/*、release/v1.x.0、hotfix/v1.x.1。
- develop: 集成分支, 不允許 commit/push, 僅允許來自 feature/* 或 hotfix/v*
- 分支的合并；
- master: 版本分支, 不允許 commit/push, 僅允許來自 release/v*或 hotfix/v*
- 分支的合并, 每次接受合并后必須在其上創(chuàng)建 TAG；
- feature/*: 功能分支, 從 develop 派生, 不允許來自 develop 的合并, 合并到 develop 后刪除；
- release/v1.x.0: 發(fā)版更新驗證分支, 從 master 派生, 派生時根據(jù) master 分支 TAG 標記并遞第二位版本號命名。不允許 commit/push, 只允許來自 develop 的合并, 合并到 master 之后刪除；
- hotfix/v1.x.1: 補丁更新驗證分支, 從 master 派生, 派生時根據(jù) master 分支 TAG 標記并遞增第三位版本號命名。允許 commit/push, 不允許 來自 develop 的合并, 合并到 master 后必須再合并到 develop , 合并后刪除。
除此之外，關于 TAG，網(wǎng)易輕舟也有一些特定要求：
- v1.x.0: 發(fā)版更新, release/v* 分支合入 master 后, 在 master 分支上創(chuàng)建；
- v1.x.1: 補丁更新, hotfix/v* 分支合入 master 后, 在 master 分支上創(chuàng)建；
- 此外，為了保證代碼合入的質量，我們也制定了對應的代碼 review 原則；
- 任何代碼變更都必須提 mr，不允許直接 push 到 dev/master 等保護分支；
- 任何變更至少必須有兩名團隊其他成員 review 過，才能合入 develop、hotfix 分支，只有被團隊接受的代碼才是團隊的代碼。
網(wǎng)易 CI 流程的具體步驟
通常，一個持續(xù)集成流程會包括以下步驟：代碼檢出、單元測試、靜態(tài)掃描、編譯、構建、鏡像掃描和測試部署。好的持續(xù)集成流程一定是面向質量的，所以，在實踐過程中除了工具和流程，還需要做好代碼質量相關的工作。
對于大部分團隊來說，CI 可能是由 QA 維護的，因此在實際使用過程中，會將線下環(huán)境的 CI 和線上分離開，線上通常更加注重持續(xù)部署，主要由 QA、PE 等角色負責，流程上會簡化一些，更加注重運維規(guī)范、上線審核。
代碼檢出： 通常需要在流水線中配置代碼源、ssh 秘鑰以及代碼分支等信息，為了優(yōu)化代碼檢出性能，CI/CD 流水線會采用的 git 淺拷貝的方式來加速整個過程。
靜態(tài)掃描： 這是流水線至關重要的一環(huán)，運行時會將掃描的數(shù)據(jù)上傳至用戶預先配置好的 SonarQube 平臺，并且通過 SonarQube 的 QualityGate 進行質量卡點，除了 QualityGate，用戶還可以自定義一些流水線特有的卡點規(guī)則，并且配置通過郵件、網(wǎng)易 popo 等通知執(zhí)行結果。
單元測試： 這是 CI 過程中必不可少的一環(huán)，CI/CD 流水線整合了常用的 Jacoco 工具，方便用戶在運行單元測試時生成對應的 UT 和覆蓋率報告，報告的內(nèi)容可以在流水線執(zhí)行詳情頁查看，同時支持用戶設置單元測試通過率、UT 覆蓋率卡點，并發(fā)送相應的郵件通知。
代碼編譯： 支持大部分主流的編程語言，比如 Java、Node.js、C++、Golang 等，并且針對各類語言做了相應的編譯加速方案，支持 Maven、Gradle、C++、Go mod 構建緩存。
鏡像構建： 支持 Docker out of Docker、Kaniko 等多種構建方式，同時整合了網(wǎng)易輕舟 Harbor，集成了 Harbor 的鏡像掃描功能，支持在流水線運行過程中執(zhí)行鏡像掃描、查看鏡像安全報告，同時支持安全項卡點以及郵件通知等功能。
集成測試：CI/CD 流水線與網(wǎng)易內(nèi)部自動化測試平臺 GoAPI 做了集成，用戶可以預先在平臺側配置好相應的接口執(zhí)行集，然后在流水線中選擇對應的執(zhí)行集執(zhí)行，并在流水線詳情頁中查看執(zhí)行集的通過率，同時支持卡點以及郵件通知。
流水線觸發(fā)器： 多種觸發(fā)器，比如定時觸發(fā)、PollSCM、Webhook 以及流水線串聯(lián)觸發(fā)，其中 Webhook 還額外提供了對 Gitlab、Harbor 的支持，支持從 Gtilab、Harbor 的 payload 中提取相關參數(shù)，并在流水線階段中使用。
標題名稱：CI系統(tǒng)的技術選型與部署流程
分享鏈接：http://www.5511xx.com/article/dpghehe.html
