亞太內(nèi)容分發(fā)大會暨CDN峰會一直致力于推動(dòng)CDN產(chǎn)業(yè)深度融合發(fā)展和市場普及，現(xiàn)已成為亞太地區(qū)影響力最大的內(nèi)容分發(fā)網(wǎng)絡(luò)盛會。十年來，在以阿里云、網(wǎng)宿科技、騰訊云等亞太CDN產(chǎn)業(yè)聯(lián)盟成員孜孜不輟的努力下，CDN產(chǎn)業(yè)已經(jīng)成為基礎(chǔ)性設(shè)施網(wǎng)絡(luò)，以堅(jiān)定的基石之姿，支撐起中國成為世界最大的互聯(lián)網(wǎng)市場。

隨著全球數(shù)字化、“一帶一路”戰(zhàn)略的推進(jìn)，亞太內(nèi)容分大會暨CDN峰會的影響力正在逐漸向全球延伸，同時(shí)也將中國智造CDN及產(chǎn)業(yè)鏈推廣向全球每一個(gè)角落。

在6月10日上午舉辦的【內(nèi)容出海論壇】上，芒果TV運(yùn)維研發(fā)負(fù)責(zé)人 葉靜濤帶來了以《芒果TV的Spinnaker多云持續(xù)交付實(shí)踐》為題的主題演講。

演講開始，葉靜濤分享了一個(gè)小故事，即2021年2月22日午餐時(shí)間，芒果TV監(jiān)控系統(tǒng)全面報(bào)警，有個(gè)公有云中上百臺實(shí)例被刪除！得益于一直堅(jiān)守的多云機(jī)制，流量被自動(dòng)轉(zhuǎn)發(fā)到其他云，故障云也只用了20分鐘完成所有實(shí)例的重建，此次故障對用戶的真正影響率不足2%。其中利用了31個(gè)伸縮組、123臺實(shí)例、8-20分鐘重建、1.93%影響率?！拔覀儓?jiān)持多云的故事，否則就是事故?！比~靜濤說。

言歸正傳，葉靜濤的演講總結(jié)于三個(gè)字：看、想、練?？炊嘣频膬?yōu)勢，想思考和期望，練Spinnaker實(shí)踐。

首先從多云的優(yōu)勢講起包括以下幾點(diǎn)：一是跨云級別的高可用，是配合客戶端重試實(shí)現(xiàn)多云容災(zāi)機(jī)制。這一優(yōu)勢體現(xiàn)在當(dāng)一個(gè)云不可用時(shí)，可以通過另外一家云提供服務(wù)；二是避免被廠商鎖定，遷移成本幾乎為零，選擇更主動(dòng)；三是避免資源不足，大型活動(dòng)可在多家云平臺申請資源；四是更多區(qū)域選擇，可選區(qū)域?yàn)樗性撇⒓?/p>

其次是思考和期望，包括三方面的內(nèi)容。一是在引入多云前后的思考。引入多云前面臨的問題包括配置漂移，即每次操作引發(fā)的增量都會變成下次操作的變量，最終演化為千機(jī)千面。其次是發(fā)布的穩(wěn)定性，依賴測試用例的質(zhì)量和覆蓋率，版本變更又會造成測試用例的不可信。最后是標(biāo)準(zhǔn)與靈活，從管理角度希望做到標(biāo)準(zhǔn)化，從業(yè)務(wù)角度希望做到自定義；引入多云之后又有新的痛點(diǎn)：一是云分散，相同業(yè)務(wù)不同云廠商的資源要登陸到多個(gè)控制臺去操作。二是部署成本上升，每增加一家云，發(fā)布工作量將增加一倍。三是學(xué)習(xí)成本上升，不同云廠商對云的理解和設(shè)計(jì)都略有不同，每家云平臺都需要掌握。

葉靜濤表示，有了以上6個(gè)痛點(diǎn)之后，期望具備的能力包括以下九個(gè)方面：一是對云透明化、二是支持主流公有云、三是不可變基礎(chǔ)設(shè)施、四是上手簡單、五是自動(dòng)流轉(zhuǎn)、六是對接主流運(yùn)維工具、七是智能判定灰度結(jié)果、八是豐富的發(fā)布策略、九是優(yōu)秀的拓展能力。

奔著這一目標(biāo)，芒果TV調(diào)研過很多工具，最終選擇了基于spinnaker的多云持續(xù)交付平臺。隨后引出了新問題：怎么去實(shí)踐的？

葉靜濤介紹，Spinnaker首先是多云的機(jī)制，多云的機(jī)制要體現(xiàn)在兩個(gè)方面：一是云的接入，作為平臺怎么把云接進(jìn)去；二是統(tǒng)一視角，用業(yè)務(wù)視角看資源，而不是云平臺看資源。

關(guān)于云平臺接入這一塊只是歷程，由于是國外的產(chǎn)品，對亞馬遜云、微軟云、谷歌云支持的很好。葉靜濤說：“2018年拿到它的時(shí)候國內(nèi)其他家還沒有，我們聯(lián)系了阿里、騰訊，由這兩家上生產(chǎn)，之后又接入了華為云，芒果TV自己也把Istio相關(guān)開發(fā)出來完善Spinnaker的容器云部分，在合作過程中對阿里、騰訊也有了一些反哺。例如阿里云彈性伸縮組期望值的設(shè)定、騰訊云把帶寬限定回歸到LB上，整個(gè)過程我們是互相學(xué)習(xí)，互相進(jìn)步的。”

而在統(tǒng)一視角這方面，Spinnaker是怎樣通過統(tǒng)一的視角看到每個(gè)云上資源的？葉靜濤介紹道，Spinnaker要求資源按照${App}-${Stack}-${Detail}三段進(jìn)行命名，所有云平臺中具有同樣${app}前綴的資源劃分到一起縱向管理。“這個(gè)過程當(dāng)中看到VOD業(yè)務(wù)中有阿里云、騰訊云兩組數(shù)據(jù)，其中阿里云是在做紅黑全量的迭代，紅色代表負(fù)載均衡看上去不健康，綠色是給流量，正好是做紅黑，上一個(gè)版本機(jī)器不會釋放，一旦有問題直接從LB層流量過去，就可以很快回滾。”

再來看不可變基礎(chǔ)設(shè)施，葉靜濤認(rèn)為這不是新的概念，從容器引進(jìn)時(shí)，這個(gè)概念已經(jīng)帶進(jìn)來了。Spinnaker充分展示了云資源按需使用的魅力，以鏡像為交付物將發(fā)布縮減為創(chuàng)建和銷毀兩個(gè)動(dòng)作。而Immutable方式的核心是鏡像，研發(fā)的交付物是軟件包，基于軟件版本自動(dòng)更新鏡像成為新的挑戰(zhàn)。葉靜濤介紹道：“芒果TV分成三種鏡像：公共基礎(chǔ)鏡像、業(yè)務(wù)基礎(chǔ)鏡像、交付鏡像。首先，公共基礎(chǔ)鏡像是在官方的鏡像基礎(chǔ)上，芒果TV統(tǒng)一對鏡像的要求，比如操作系統(tǒng)版本、監(jiān)控組建等方面是不允許改的。其次是業(yè)務(wù)基礎(chǔ)鏡像，根據(jù)業(yè)務(wù)特點(diǎn)和語言環(huán)境不同準(zhǔn)備不同的語言環(huán)境，業(yè)務(wù)探點(diǎn)不同，可以根據(jù)自己的端口號去配置。最后是整個(gè)交付包的制造是基于業(yè)務(wù)基礎(chǔ)鏡像開一臺機(jī)器，我們需要拉去最新軟件包的版本打進(jìn)去，這也是準(zhǔn)交付物，因?yàn)闆]有經(jīng)過測試，我們有自動(dòng)流水線發(fā)布到預(yù)發(fā)布環(huán)境上去，經(jīng)過各種安全代碼掃描才是交付鏡像?！?/p>

芒果TV在Spinnaker支持的部署策略，包括新增、替換、紅黑、滾動(dòng)等四點(diǎn)。新增是只增量部署新版本服務(wù)，用于灰度發(fā)布和金絲雀分析。替換是新版本服務(wù)部署完畢后清空所有老服務(wù)，用于預(yù)發(fā)布環(huán)境。紅黑是新版本服務(wù)部署完畢后老服務(wù)保留，但不再接收流量。用于全量發(fā)布。 滾動(dòng)是新版本與老服務(wù)按照N+1原則滾動(dòng)發(fā)布，用于容器云。

有了以上的鏡像，芒果TV的三條流水線也逐漸形成。這三條流水線包括預(yù)發(fā)布流水線、灰度發(fā)布流水線和全量發(fā)布流水線。以上流水線除灰度發(fā)布需人工確認(rèn)版本外皆自動(dòng)觸發(fā)和執(zhí)行。

那么金絲雀分析是怎樣能智能的判斷一個(gè)產(chǎn)品迭代之后新的版本是否適用？葉靜濤介紹：“左邊是生產(chǎn)的負(fù)載均衡和生產(chǎn)的集群，右邊是預(yù)發(fā)布負(fù)載均衡和預(yù)發(fā)布集群，我們分別基于這倆集群新創(chuàng)建基線限集群和金絲雀集群兩個(gè)彈性，直接接入生產(chǎn)分擔(dān)相同的流量，此時(shí)通過監(jiān)控系統(tǒng)去采集指標(biāo)，包括CPU、內(nèi)存、網(wǎng)絡(luò)、業(yè)務(wù)日志等各種指標(biāo)，然后做金絲雀分析。這是其中一個(gè)指標(biāo)采集下來的結(jié)果，它會產(chǎn)生金絲雀分析報(bào)告并進(jìn)行評分。我們可以無限的擴(kuò)指標(biāo)，同時(shí)可以給它一個(gè)權(quán)重，我的總分是100分，不同業(yè)務(wù)關(guān)注的指標(biāo)不同，它的權(quán)重就不同?？偡殖^一個(gè)閾值我們認(rèn)為是安全的，低于一個(gè)閾值發(fā)布是需要暫停的，中間分?jǐn)?shù)段需要人工根據(jù)金絲雀報(bào)告進(jìn)行判斷?！?/p>

金絲雀分析帶來的收益是什么？一是完全基于生產(chǎn)環(huán)境做的，它是真實(shí)可靠的。二是與業(yè)務(wù)和應(yīng)用的版本都是解耦，不依賴測試用例，分析維度可自由擴(kuò)展。三是Spinnaker的權(quán)重評分機(jī)制可以做到自動(dòng)化。四是隱性收獲，分析維度的豐富可以反向推動(dòng)監(jiān)控體系的完善。從而，Spinnaker在芒果TV里貫穿CICD、研發(fā)測試運(yùn)維，包括在核心的位置。

再回頭看六個(gè)痛點(diǎn)是否有解，答案肯定是有。葉靜濤講解道：“通過統(tǒng)一的視角、統(tǒng)一的UI，云資源分散便得到了解決；部署成本上升，只要能做成自動(dòng)化，就能解決多個(gè)云并行的問題；學(xué)習(xí)成本的上升，因?yàn)镾pinnaker是統(tǒng)一的操作平臺，對現(xiàn)有的運(yùn)營工具是兼容的，不需要學(xué)新的東西，做Spinnaker這個(gè)人肯定要去學(xué)集成進(jìn)來，但是用Spinnaker的人不需要學(xué)；配置漂移也得到了解決，基于鏡像發(fā)布的體系，沒有進(jìn)去改的機(jī)會，我只有創(chuàng)建和銷毀；發(fā)布的穩(wěn)定性方面，穩(wěn)定性就是對版本質(zhì)量把控，首先是三條流水線，先預(yù)發(fā)布，流水線上已經(jīng)是緩慢發(fā)布的過程，中間有金絲雀基于真實(shí)流量的判定，因此我認(rèn)為它是沒有問題的；最后是靈活與標(biāo)準(zhǔn)，統(tǒng)一鏡像的一部分，同時(shí)開放給對方一部分，三條流水線可以基于自己業(yè)務(wù)不同的訴求去編輯。”

演講最后葉靜濤表示，從 2018 年到今天，芒果TV的spinnaker道路充滿了實(shí)驗(yàn)、學(xué)習(xí)、實(shí)踐與轉(zhuǎn)變，發(fā)版任務(wù)增加了十倍（現(xiàn)在每周發(fā)版次數(shù)200+，流水線執(zhí)行次數(shù)600+），但運(yùn)維人員并沒有增加，并且實(shí)現(xiàn)了部分研發(fā)自治。后續(xù)將繼續(xù)豐富金絲雀分析和混沌工程用例，最終達(dá)到“誰構(gòu)建，誰運(yùn)維”。