一、引言

《“十四五”國(guó)家信息化規(guī)劃》指出加快推進(jìn)數(shù)字化轉(zhuǎn)型，是“十四五”建設(shè)網(wǎng)絡(luò)強(qiáng)國(guó)、數(shù)字中國(guó)的重要戰(zhàn)略任務(wù)。金融行業(yè)面臨全面的數(shù)字化轉(zhuǎn)型新契機(jī)，中國(guó)人民銀行《金融科技發(fā)展規(guī)劃》中指出深化金融數(shù)據(jù)要素應(yīng)用，夯實(shí)數(shù)字基礎(chǔ)底座，發(fā)揮數(shù)據(jù)要素倍增作用。作為數(shù)字金融發(fā)展基建保障的基礎(chǔ)運(yùn)維，其數(shù)字化轉(zhuǎn)型成為金融數(shù)字化轉(zhuǎn)型中必不可少的重要組成部分，必須予以重視。數(shù)據(jù)倉(cāng)庫(kù)作為金融企業(yè)數(shù)據(jù)資產(chǎn)承載的核心部件，隨著業(yè)務(wù)數(shù)據(jù)的爆發(fā)式增長(zhǎng)，業(yè)務(wù)場(chǎng)景呈現(xiàn)多樣化趨勢(shì)，數(shù)據(jù)倉(cāng)庫(kù)運(yùn)維管理面臨著新的壓力，如：

1.數(shù)據(jù)倉(cāng)庫(kù)與傳統(tǒng)數(shù)據(jù)庫(kù)相比無有效綜合指標(biāo)，無法快速判斷運(yùn)行狀態(tài)；

2.單一倉(cāng)庫(kù)集群不能承載全部業(yè)務(wù)，拆分功能集群面臨極大運(yùn)維管理壓力；

3.數(shù)據(jù)倉(cāng)庫(kù)各項(xiàng)資源管控粗放，無法實(shí)現(xiàn)精細(xì)管控、精準(zhǔn)趨勢(shì)預(yù)判等；

4.數(shù)據(jù)倉(cāng)庫(kù)采用分布式架構(gòu)，組件眾多，規(guī)模龐大，事件處置，尤其是性能相關(guān)事件處置，分析定位困難。

為了更好的適應(yīng)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的發(fā)展趨勢(shì)，支持相關(guān)業(yè)務(wù)的發(fā)展，G行逐步深入數(shù)據(jù)倉(cāng)庫(kù)運(yùn)維數(shù)字化探索實(shí)踐，建立了數(shù)據(jù)倉(cāng)庫(kù)全景運(yùn)維數(shù)字化模型，多維度展示、維護(hù)、管理數(shù)據(jù)倉(cāng)庫(kù)運(yùn)行生態(tài)，強(qiáng)化平臺(tái)異常感知能力、精細(xì)化管理能力、資源調(diào)配能力、租戶服務(wù)能力等，全面提升數(shù)據(jù)倉(cāng)庫(kù)的運(yùn)維管理水平。

二、探針監(jiān)測(cè)

G行數(shù)據(jù)倉(cāng)庫(kù)采用國(guó)產(chǎn)MPP集群架構(gòu)產(chǎn)品，承接數(shù)十個(gè)數(shù)據(jù)集市，上百個(gè)業(yè)務(wù)系統(tǒng)，是G行重要的數(shù)據(jù)資產(chǎn)承載系統(tǒng)。雖然業(yè)內(nèi)數(shù)據(jù)倉(cāng)庫(kù)多采用關(guān)系型數(shù)據(jù)庫(kù)，但是不同于傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)可以通過TPS、QPS、IOPS等綜合指標(biāo)來描述整體運(yùn)行效率，數(shù)據(jù)倉(cāng)庫(kù)場(chǎng)景下常規(guī)指標(biāo)無法準(zhǔn)確描述數(shù)據(jù)倉(cāng)庫(kù)的運(yùn)行狀態(tài)。通常數(shù)據(jù)倉(cāng)庫(kù)運(yùn)維關(guān)注數(shù)據(jù)倉(cāng)庫(kù)整體運(yùn)行狀態(tài)、壓力負(fù)載以及各計(jì)算實(shí)例狀態(tài)等，而在數(shù)據(jù)倉(cāng)庫(kù)故障場(chǎng)景中，監(jiān)控采集到的異?，F(xiàn)象，有明確的故障指向，更容易進(jìn)行有針對(duì)性的進(jìn)行分析定位，此類故障處置相對(duì)快速，而通過業(yè)務(wù)應(yīng)用反饋的異常，通常不易處置，一是未知場(chǎng)景、運(yùn)維監(jiān)測(cè)未達(dá)，二是業(yè)務(wù)反饋描述易于理解但相對(duì)強(qiáng)調(diào)主觀感受，例如“慢了、快了”等。

G行數(shù)據(jù)倉(cāng)庫(kù)運(yùn)維打破固有思維，站在運(yùn)維希望業(yè)務(wù)應(yīng)用反饋哪些關(guān)鍵信息的角度，把業(yè)務(wù)反饋由“慢了”更換為“建立連接慢”、“任務(wù)分發(fā)處理慢”、“結(jié)果集反饋慢”等更清晰、更能輔助判斷定位的描述。結(jié)合運(yùn)維經(jīng)驗(yàn)換位思考探尋快速便捷的判斷方式，首創(chuàng)探針機(jī)制。探針簡(jiǎn)而言之就是模擬實(shí)際場(chǎng)景，探針絕不是一成不變的，而是根據(jù)業(yè)務(wù)場(chǎng)景特殊制定的。不同于具體業(yè)務(wù)，反饋一個(gè)結(jié)果，關(guān)注響應(yīng)時(shí)間，探針不只是探測(cè)響應(yīng)反饋時(shí)長(zhǎng)綜合指標(biāo)，更是標(biāo)識(shí)探針探測(cè)過程中各項(xiàng)時(shí)間消耗明細(xì)：WAIT等待時(shí)長(zhǎng)，CREATE CONNECTION建連時(shí)長(zhǎng)，INSERT插入效率，DDL響應(yīng)時(shí)長(zhǎng)，ANALYZE執(zhí)行效率等。探針輔以探針監(jiān)測(cè)機(jī)制，實(shí)現(xiàn)數(shù)倉(cāng)運(yùn)維的綜合監(jiān)測(cè)指標(biāo)。探針不是絕對(duì)的，沒有固定的取值范圍，這個(gè)取決于業(yè)務(wù)應(yīng)用背景以及數(shù)據(jù)倉(cāng)庫(kù)集群的處理能力。因?yàn)樘结樢蕾嚁?shù)據(jù)倉(cāng)庫(kù)的業(yè)務(wù)場(chǎng)景，所以探針不可移植，但探針機(jī)制可以相互借鑒，屬于數(shù)據(jù)倉(cāng)庫(kù)普適性綜合指標(biāo)。

圖1 探針檢測(cè)與分析

探針監(jiān)測(cè)可宏觀的判斷業(yè)務(wù)運(yùn)行狀態(tài)，日常運(yùn)維還需結(jié)合數(shù)據(jù)倉(cāng)庫(kù)的實(shí)時(shí)運(yùn)行視圖綜合判斷，對(duì)于某些特殊SQL引起的異常、亦或是節(jié)點(diǎn)響應(yīng)慢等場(chǎng)景，探針監(jiān)測(cè)機(jī)制無往不利。因?yàn)樘厥釹QL與探針數(shù)據(jù)的異常之間存在相關(guān)性，可以通過探針數(shù)據(jù)異常結(jié)合實(shí)時(shí)運(yùn)行視圖，反推定位異常SQL，從而快速定位解決故障。同時(shí)，由于數(shù)據(jù)倉(cāng)庫(kù)的業(yè)務(wù)場(chǎng)景和投產(chǎn)周期相對(duì)的固定，一個(gè)投產(chǎn)周期內(nèi)的探針表現(xiàn)情況會(huì)相對(duì)固定，所以基于探針的時(shí)點(diǎn)同比，可以判斷數(shù)倉(cāng)整體運(yùn)行狀態(tài)，當(dāng)實(shí)時(shí)探針發(fā)生較大偏差，也可以提前介入進(jìn)行定位處置?；谔结槞C(jī)制，G行數(shù)據(jù)倉(cāng)庫(kù)運(yùn)維能夠更快的感知、定位、處置異常，從而降低業(yè)務(wù)影響、保障業(yè)務(wù)運(yùn)行。

三、動(dòng)態(tài)調(diào)控

隨著業(yè)務(wù)的發(fā)展，單一的數(shù)據(jù)倉(cāng)庫(kù)集群已經(jīng)不能滿足業(yè)務(wù)的需求，銀行業(yè)大多都采用拆分功能集群或業(yè)務(wù)拆分的方式，實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)集群壓力分散。G行數(shù)據(jù)倉(cāng)庫(kù)采用一主多輔的功能集群配置架構(gòu)模式，主集群主要完成全行批量加工，業(yè)務(wù)數(shù)據(jù)處理，監(jiān)管報(bào)送等重要批量任務(wù)處理工作，輔助功能集群分別為報(bào)表結(jié)果集查詢、數(shù)據(jù)備份、靈活查詢、數(shù)據(jù)挖掘等功能集群。同時(shí)主集群承擔(dān)向各個(gè)功能集群進(jìn)行同步數(shù)據(jù)，保障數(shù)據(jù)一致任務(wù)。

圖2 數(shù)據(jù)倉(cāng)庫(kù)功能定位

G行數(shù)據(jù)倉(cāng)庫(kù)為了滿足相關(guān)業(yè)務(wù)的高效性，部分業(yè)務(wù)采用聯(lián)機(jī)訪問主倉(cāng)的方式，這就出現(xiàn)一個(gè)混合場(chǎng)景。對(duì)于單一功能數(shù)倉(cāng)集群而言，完成滿足數(shù)倉(cāng)功能定位即可，G行數(shù)據(jù)倉(cāng)庫(kù)主功能集群不僅承擔(dān)了批量任務(wù)還承擔(dān)了部分前端業(yè)務(wù)查詢。由于前端聯(lián)機(jī)業(yè)務(wù)查詢跟批量業(yè)務(wù)處理是完全不同的兩個(gè)作業(yè)場(chǎng)景，在同一環(huán)境運(yùn)行無法做到絕對(duì)的資源隔離，所以盡可能避免沖突將兩個(gè)業(yè)務(wù)場(chǎng)景的運(yùn)行時(shí)段進(jìn)行拆分，做到不相互干擾，也正因如此G行有著行業(yè)內(nèi)最早的結(jié)批時(shí)點(diǎn)。為滿足混合業(yè)務(wù)場(chǎng)景的高要求，G行通過數(shù)字化手段，增強(qiáng)調(diào)控精準(zhǔn)保障業(yè)務(wù)運(yùn)行。

01.資源調(diào)控

由于同一數(shù)據(jù)倉(cāng)庫(kù)集群應(yīng)對(duì)批量和聯(lián)機(jī)兩種不同業(yè)務(wù)場(chǎng)景，所以為保證不同時(shí)點(diǎn)的業(yè)務(wù)訴求，保證不同業(yè)務(wù)場(chǎng)景應(yīng)用最優(yōu)資源配置，根據(jù)具體使用情況采用自動(dòng)調(diào)控的方式，調(diào)整資源配置，向高優(yōu)先級(jí)業(yè)務(wù)傾斜，工作時(shí)間保證聯(lián)機(jī)業(yè)務(wù)查詢探索，非工作時(shí)間保證日批處理，分時(shí)段、分場(chǎng)景精準(zhǔn)資源調(diào)控保證業(yè)務(wù)處理高效。

02.調(diào)度調(diào)控

探索根據(jù)集群資源消耗情況實(shí)時(shí)調(diào)整并發(fā)控制，達(dá)到時(shí)刻保持高水位運(yùn)行，最大限度利用集群固件資源，提升業(yè)務(wù)處理效率。通過采集集群的各項(xiàng)資源使用情況，包括基礎(chǔ)資源消耗，集群并發(fā)數(shù)量，前端、批量并發(fā)配比等指標(biāo)數(shù)據(jù)，建立實(shí)時(shí)動(dòng)態(tài)調(diào)度調(diào)整的數(shù)據(jù)模型，調(diào)整不同種類任務(wù)調(diào)度，相同類別任務(wù)的并發(fā)分配占比等。

03.運(yùn)行調(diào)控

數(shù)據(jù)倉(cāng)庫(kù)批量業(yè)務(wù)場(chǎng)景相對(duì)穩(wěn)定，任務(wù)都是經(jīng)過非功、壓測(cè)等各種測(cè)試，整體任務(wù)運(yùn)行穩(wěn)定。但因?yàn)橹骷撼薪踊旌下?lián)機(jī)查詢業(yè)務(wù)場(chǎng)景，由于聯(lián)機(jī)查詢場(chǎng)景不可控，不可避免可能發(fā)生資源爭(zhēng)搶。當(dāng)因系統(tǒng)資源發(fā)生爭(zhēng)搶，導(dǎo)致運(yùn)行異常，大概率是因?yàn)榍岸说漠惓QL查詢導(dǎo)致的，導(dǎo)致數(shù)據(jù)倉(cāng)庫(kù)壓力激增，此時(shí)啟動(dòng)自動(dòng)運(yùn)行調(diào)控機(jī)制，來最大限度的保證數(shù)據(jù)倉(cāng)庫(kù)的運(yùn)行穩(wěn)定。經(jīng)探索實(shí)踐自動(dòng)調(diào)控機(jī)制大致歸為三個(gè)等級(jí)：一是自動(dòng)查殺運(yùn)行時(shí)間長(zhǎng)，低效的聯(lián)機(jī)查詢；二是自動(dòng)查殺前端全部查詢，快速釋放資源；三是極端場(chǎng)景應(yīng)對(duì)，封禁全部聯(lián)機(jī)業(yè)務(wù)查詢。

四、數(shù)字畫像

為了更好的進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)的運(yùn)維管理，G行數(shù)據(jù)倉(cāng)庫(kù)運(yùn)維探索實(shí)踐中，建立數(shù)據(jù)倉(cāng)庫(kù)的數(shù)字畫像并不斷的健全完善，數(shù)據(jù)倉(cāng)庫(kù)數(shù)字畫像，借鑒業(yè)務(wù)部門的“客戶畫像”，依賴數(shù)據(jù)倉(cāng)庫(kù)的數(shù)字畫像，不斷的挖掘數(shù)據(jù)倉(cāng)庫(kù)運(yùn)行的規(guī)律和特點(diǎn)，從而更加清晰的了解數(shù)據(jù)倉(cāng)庫(kù)的運(yùn)行，實(shí)踐過程中數(shù)據(jù)倉(cāng)庫(kù)數(shù)字畫像大致分為兩類：一是數(shù)倉(cāng)平臺(tái)的數(shù)字畫像，描述數(shù)據(jù)倉(cāng)庫(kù)的運(yùn)行規(guī)律和特點(diǎn)；二是數(shù)據(jù)倉(cāng)庫(kù)的租戶數(shù)字畫像，描述數(shù)據(jù)倉(cāng)庫(kù)上不同集市租戶的資源消耗和業(yè)務(wù)使用特點(diǎn)。

圖3 數(shù)據(jù)倉(cāng)庫(kù)數(shù)字畫像

01.平臺(tái)畫像

宏觀的展示數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)的整體概況，從應(yīng)用批量、基礎(chǔ)資源、數(shù)據(jù)庫(kù)使用情況等三個(gè)方面對(duì)數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)進(jìn)行數(shù)字建模展示平臺(tái)畫像。其中，應(yīng)用批量顯示批量任務(wù)變化，執(zhí)行時(shí)長(zhǎng)，完成度，同比、環(huán)比等；基礎(chǔ)資源展示存儲(chǔ)變化，傾斜異常，容量變化，日均消耗等；數(shù)據(jù)庫(kù)從連接數(shù)量，實(shí)例資源消耗，實(shí)時(shí)任務(wù)、任務(wù)等待，用戶資源分布、占比等多個(gè)角度展示數(shù)據(jù)庫(kù)庫(kù)資源分布。除展示的平臺(tái)宏觀數(shù)字畫像，還有通過各種維度觀測(cè)整理出更多平臺(tái)精細(xì)畫像，滿足日常不同角色管理人員對(duì)數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)的維護(hù)管理需求。

02.租戶畫像

功能定位是滿足數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)了解各集市租戶的運(yùn)行特點(diǎn)，同時(shí)將租戶畫像通過自動(dòng)推送的方式，推送對(duì)應(yīng)集市管理人員，以便相關(guān)人員了解各自用戶數(shù)據(jù)倉(cāng)庫(kù)上的資源消耗，同時(shí)方便各集市對(duì)其后續(xù)發(fā)展及目標(biāo)定位更清晰。租戶畫像一方面通過描述用戶連接、實(shí)例資源占比，訪問總量，響應(yīng)時(shí)長(zhǎng)以及通過DDL、DML消耗占比等了解業(yè)務(wù)特點(diǎn)。另一方面通過表數(shù)量，數(shù)據(jù)量，并發(fā)數(shù)的變化趨勢(shì)了解業(yè)務(wù)發(fā)展趨勢(shì)，提前規(guī)劃應(yīng)對(duì)數(shù)據(jù)倉(cāng)庫(kù)租戶資源需求變化等。

數(shù)字畫像多維度的采集倉(cāng)庫(kù)平臺(tái)及租戶的各項(xiàng)運(yùn)行數(shù)據(jù)，通過數(shù)字建模的方式描述各類運(yùn)行場(chǎng)景，對(duì)倉(cāng)庫(kù)平臺(tái)的各項(xiàng)指標(biāo)的趨勢(shì)監(jiān)控，更好的監(jiān)測(cè)平臺(tái)運(yùn)行，做到不僅知其然而且知其所以然。通過租戶各項(xiàng)指標(biāo)的運(yùn)行監(jiān)測(cè)，了解運(yùn)行特點(diǎn)，對(duì)租戶進(jìn)行精細(xì)劃分，根據(jù)租戶的運(yùn)行特點(diǎn)不同，針對(duì)性定制管理策略，從而實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)的精細(xì)化管理。

五、異常感知

多年數(shù)據(jù)倉(cāng)庫(kù)運(yùn)維經(jīng)驗(yàn)得出，MPP架構(gòu)數(shù)據(jù)倉(cāng)庫(kù)集群具有典型的“木桶效應(yīng)”特點(diǎn)，集群?jiǎn)吸c(diǎn)性能異常會(huì)導(dǎo)致整體性能下降。而此類性能下降成因主要分為兩類：一是計(jì)算傾斜，由于業(yè)務(wù)數(shù)據(jù)傾斜或統(tǒng)計(jì)信息不準(zhǔn)，導(dǎo)致任務(wù)運(yùn)行傾斜，數(shù)據(jù)倉(cāng)庫(kù)集群資源未能充分利用；二是由于設(shè)備硬件老化等問題導(dǎo)致單點(diǎn)性能下降，此類性能下降一般不易察覺，通常由于影響業(yè)務(wù)反查，定位單點(diǎn)硬件異常、性能下降。為實(shí)現(xiàn)針對(duì)硬件老化等場(chǎng)景的異常提前感知，G行通過數(shù)據(jù)建模，采用針對(duì)基礎(chǔ)資源的流數(shù)據(jù)實(shí)時(shí)采集分析處理，大大提升了異常感知，做到了高效識(shí)別潛在風(fēng)險(xiǎn)故障，充分發(fā)揮數(shù)字化運(yùn)維的特點(diǎn)，提升運(yùn)維效率，多次避免了業(yè)務(wù)影響。真正做到了從“亡羊補(bǔ)牢”到“未雨綢繆”，提前發(fā)現(xiàn)并規(guī)避問題，防患于未然。通過不斷的探索實(shí)踐，G行實(shí)現(xiàn)了離群節(jié)點(diǎn)檢測(cè)、異常進(jìn)程檢測(cè)、慢盤檢測(cè)等多種異常感知策略。

圖4 異常告警

01.離群節(jié)點(diǎn)監(jiān)測(cè)

根據(jù)MPP架構(gòu)及運(yùn)行特點(diǎn)，采集CPU、內(nèi)存、負(fù)載、連接等基礎(chǔ)資源信息橫向?qū)Ρ?，?jīng)過建模運(yùn)算實(shí)時(shí)監(jiān)測(cè)集群內(nèi)部節(jié)點(diǎn)和節(jié)點(diǎn)之間的資源消耗及其變化情況，探測(cè)異常推送管理人員提前介入處置。

02.異常進(jìn)程監(jiān)測(cè)

通過實(shí)時(shí)、周期采集節(jié)點(diǎn)進(jìn)程消耗情況，分析進(jìn)程TOP資源消耗，歷史資源消耗同比，節(jié)點(diǎn)進(jìn)程資源消耗環(huán)比，校驗(yàn)進(jìn)程運(yùn)行狀態(tài)，識(shí)別異常進(jìn)程，探測(cè)異常推送管理人員介入處置。

G行為提升數(shù)據(jù)倉(cāng)庫(kù)整體運(yùn)維服務(wù)水平，借助日趨成熟的數(shù)字化技術(shù)，不斷提升運(yùn)維管理的能力，除離群節(jié)點(diǎn)監(jiān)測(cè)、異常進(jìn)程監(jiān)測(cè)等基礎(chǔ)資源的異常感知，還在應(yīng)用、數(shù)據(jù)庫(kù)等多個(gè)層級(jí)設(shè)置了異常訪問告警、應(yīng)用效率比檢測(cè)、慢盤監(jiān)測(cè)、SQL殘留檢查等多項(xiàng)異常感知策略。

六、總結(jié)

IT業(yè)對(duì)金融系統(tǒng)生命周期和投入一般表述為“三分建設(shè)、七分運(yùn)維”，由此可見運(yùn)維在整個(gè)生產(chǎn)系統(tǒng)的建設(shè)、運(yùn)行、維護(hù)、管理中充當(dāng)重要的一環(huán)。數(shù)字化運(yùn)維場(chǎng)景下，運(yùn)維管理的基本職責(zé)不變，而有了數(shù)字化加持的運(yùn)維管理不應(yīng)只是保障系統(tǒng)的平穩(wěn)運(yùn)行，應(yīng)承擔(dān)更多的職責(zé)。由于管理之間的壁壘，運(yùn)維不可能去干預(yù)業(yè)務(wù)開展，但是運(yùn)維作為生產(chǎn)運(yùn)行一線，能更多的了解析生產(chǎn)運(yùn)行特點(diǎn)、特性，資源消耗周期，增長(zhǎng)趨勢(shì)等。我們常說實(shí)踐出真知，生產(chǎn)運(yùn)維產(chǎn)生的數(shù)據(jù)才是生產(chǎn)運(yùn)行的一手資料，相比于測(cè)試、預(yù)判都要更為準(zhǔn)確，在此基礎(chǔ)上進(jìn)行梳理、匯總、分析反向推動(dòng)指導(dǎo)業(yè)務(wù)，能更好地推動(dòng)業(yè)務(wù)穩(wěn)健發(fā)展。運(yùn)維數(shù)字化，為運(yùn)維管理提供了新的發(fā)展方向，大有可為，未來可期。