在大數(shù)據(jù)領(lǐng)域中，流式圖計(jì)算（Streaming Graph Processing）作為一種用于處理實(shí)時(shí)數(shù)據(jù)流的計(jì)算模型和技術(shù)，結(jié)合了圖計(jì)算和流式數(shù)據(jù)處理的概念，旨在處理數(shù)據(jù)流中的節(jié)點(diǎn)（vertices）和邊（edges）之間的關(guān)系，以實(shí)時(shí)分析、處理和理解不斷涌現(xiàn)的數(shù)據(jù)。螞蟻集團(tuán)對(duì)于流式圖計(jì)算在實(shí)時(shí)數(shù)據(jù)處理與分析領(lǐng)域有較成熟的體系。今天主要介紹螞蟻集團(tuán)實(shí)時(shí)數(shù)據(jù)體系和關(guān)鍵技術(shù)、基于流式圖計(jì)算的實(shí)時(shí)流量歸因場(chǎng)景應(yīng)用，以及基于流式圖計(jì)算在支付寶營(yíng)銷場(chǎng)景實(shí)時(shí) OLAP 和數(shù)金場(chǎng)景實(shí)時(shí)用戶行為意圖分析的探索。

一、螞蟻實(shí)時(shí)數(shù)據(jù)整體介紹

首先介紹的是螞蟻集團(tuán)實(shí)時(shí)大數(shù)據(jù)能力框架圖。

1、螞蟻實(shí)時(shí)能力大圖

總體分基礎(chǔ)技術(shù)、實(shí)時(shí)核心能力、業(yè)務(wù)三個(gè)層次。基礎(chǔ)技術(shù)包含計(jì)算、存儲(chǔ)、消息隊(duì)列等，今天重點(diǎn)分享的流式圖計(jì)算引擎就在這里。實(shí)時(shí)核心能力自下向上依次是技術(shù)架構(gòu)&研發(fā)范式、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)解決方案。技術(shù)架構(gòu)&研發(fā)范式包括“流批一體”、“湖倉(cāng)一體”等架構(gòu)，也包括針對(duì)不同業(yè)務(wù)情景的研發(fā)范式和架構(gòu)約束。技術(shù)架構(gòu)之上是資產(chǎn)層，類似離線數(shù)倉(cāng)我們?yōu)閷?shí)時(shí)也構(gòu)建了一套資產(chǎn)管理和治理體系。最上面是領(lǐng)域解決方案，面向類似業(yè)務(wù)場(chǎng)景提供一套通用的實(shí)時(shí)領(lǐng)域解決方案，比如營(yíng)銷活動(dòng)、實(shí)時(shí)風(fēng)控等場(chǎng)景。基于這個(gè)能力大圖，逐漸實(shí)現(xiàn)以需求驅(qū)動(dòng)為主向數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)發(fā)展的整體戰(zhàn)略目標(biāo)轉(zhuǎn)化。

2、螞蟻流批一體架構(gòu)：從“物理”到“邏輯”代碼的數(shù)據(jù)研發(fā)

這里簡(jiǎn)要介紹實(shí)時(shí)能力大圖中的“流批一體”。流批一體能力的應(yīng)用指的是一種應(yīng)用程序能夠同時(shí)處理實(shí)時(shí)數(shù)據(jù)流和批量數(shù)據(jù)的能力。換句話說(shuō)，該應(yīng)用能夠靈活地在實(shí)時(shí)情境下處理連續(xù)的數(shù)據(jù)流，也可以在一段時(shí)間內(nèi)處理累積的數(shù)據(jù)批次。Apache Flink 和 Apache Spark 是兩個(gè)流行的分布式計(jì)算框架。這兩個(gè)框架都具有處理實(shí)時(shí)數(shù)據(jù)流和批處理數(shù)據(jù)的能力。

對(duì)于流批一體可以有兩個(gè)層面的理解：

從引擎角度：unified 引擎，它指的是一種引擎，在底層能夠統(tǒng)一處理流式數(shù)據(jù)和批處理數(shù)據(jù)。這意味著開(kāi)發(fā)人員可以使用同一套引擎來(lái)處理不同類型的數(shù)據(jù)處理需求，而不需要切換或使用不同的引擎。

從業(yè)務(wù)研發(fā)角度：開(kāi)發(fā)人員只需要編寫(xiě)一套代碼，就能夠處理實(shí)時(shí)數(shù)據(jù)流和批處理數(shù)據(jù)，這樣可以減少開(kāi)發(fā)工作量，提高開(kāi)發(fā)效率，并且更容易維護(hù)代碼。

螞蟻的解決方案是在數(shù)據(jù)研發(fā)平臺(tái)層實(shí)現(xiàn)開(kāi)發(fā)一套邏輯代碼實(shí)現(xiàn)流批一體，并在此基礎(chǔ)上做了大量?jī)?yōu)化。比如代碼里可以根據(jù)“__source_type__“這些系統(tǒng)級(jí)別的關(guān)鍵詞（值為“bounded”和“unbounded”）進(jìn)行不同位點(diǎn)和分區(qū)的流式和批式處理。

3、螞蟻流式圖計(jì)算(TuGraph-Analytics)系統(tǒng)架構(gòu)

螞蟻流式圖計(jì)算系統(tǒng)的整體框架包含了容器資源、流圖引擎與 API、數(shù)據(jù)應(yīng)用，及計(jì)算控制后臺(tái)幾個(gè)層面，為實(shí)現(xiàn)高效的數(shù)據(jù)處理和分析提供了完整的架構(gòu)。在該框架中，底層為強(qiáng)大的容器基礎(chǔ)設(shè)施，涵蓋了 Kubernetes（k8s）和Ray，為上層提供了可擴(kuò)展性和資源管理。在此基礎(chǔ)上構(gòu)建了流圖引擎，為數(shù)據(jù)流處理和分析提供核心支持，其中包括 GraphView API、Unified Graph Engine 和 Graph State。最上層則是流圖數(shù)據(jù)應(yīng)用，涵蓋了轉(zhuǎn)化歸因、實(shí)時(shí) OLAP、行為意圖等多個(gè)領(lǐng)域，同時(shí)展望未來(lái)的發(fā)展，計(jì)劃在廣告場(chǎng)景中引入鏈路診斷，以進(jìn)一步提升系統(tǒng)的功能和價(jià)值。整個(gè)框架在數(shù)據(jù)處理的各個(gè)層面提供了一體化的解決方案，為實(shí)時(shí)數(shù)據(jù)處理和分析應(yīng)用提供了強(qiáng)有力的支持。

二、流式圖計(jì)算在實(shí)時(shí)流量歸因場(chǎng)景的應(yīng)用

1、流量轉(zhuǎn)化

左邊是一個(gè)流量轉(zhuǎn)化漏斗，指在數(shù)字營(yíng)銷和業(yè)務(wù)運(yùn)營(yíng)中，通過(guò)不同階段的處理和轉(zhuǎn)化，將大量的潛在用戶或訪問(wèn)者逐步引導(dǎo)、篩選，最終實(shí)現(xiàn)特定目標(biāo)的過(guò)程。包括了公域到商家私域/行業(yè)陣地的流量分發(fā)、私域交易轉(zhuǎn)化、流量商業(yè)化變現(xiàn)幾個(gè)環(huán)節(jié)。從平臺(tái)視角，通過(guò)為商家進(jìn)行流量引導(dǎo)、提升交易轉(zhuǎn)化，最終實(shí)現(xiàn)流量的商業(yè)化價(jià)值。

以用戶在支付寶的訪問(wèn)為例，可以詳細(xì)介紹如何通過(guò)流量漏斗實(shí)現(xiàn)從公域流量到商家私域，再到交易轉(zhuǎn)化，最終實(shí)現(xiàn)商業(yè)化：

商家私域/行業(yè)陣地的流量分發(fā)：典型的公域流量如在支付寶首頁(yè)空格、腰封的曝光。如何在公域流量場(chǎng)將合適的私域或行業(yè)內(nèi)容分發(fā)推薦給用戶是個(gè)非常重要的課題。用戶可以通過(guò)點(diǎn)擊入支付寶首頁(yè)的曝光內(nèi)容跳轉(zhuǎn)到相應(yīng)的小程序或承接頁(yè)面。在這個(gè)階段，可以通過(guò)精準(zhǔn)的內(nèi)容定位、個(gè)性化推送等方式，將用戶進(jìn)一步引導(dǎo)到感興趣的領(lǐng)域，從而提高用戶的黏性和互動(dòng)性。

私域交易轉(zhuǎn)化：在商家的私域內(nèi)，可以采取多種策略促使用戶進(jìn)行轉(zhuǎn)化，例如訂閱、入會(huì)等。這些操作可以進(jìn)一步深化用戶與商家之間的互動(dòng)，建立用戶畫(huà)像，私域中的用戶已經(jīng)顯示出一定的興趣和親近度，因此更容易進(jìn)行交易轉(zhuǎn)化。

流量商業(yè)化變現(xiàn)：一旦用戶完成交易轉(zhuǎn)化，平臺(tái)就達(dá)到了流量變現(xiàn)的目標(biāo)，即通過(guò)用戶的付費(fèi)行為實(shí)現(xiàn)商業(yè)化價(jià)值。

右邊是一個(gè)對(duì)應(yīng)的廣告商業(yè)化的漏斗。從曝光到點(diǎn)擊再到轉(zhuǎn)化，可以通過(guò)廣告中不同的 CPM（千次曝光）、CPC（點(diǎn)擊）、CPA（動(dòng)作）計(jì)費(fèi)模式來(lái)實(shí)現(xiàn)流量的實(shí)時(shí)跟蹤與變現(xiàn)。

2、流量轉(zhuǎn)化歸因模型

流量轉(zhuǎn)化歸因模型在數(shù)字營(yíng)銷等場(chǎng)景中具有關(guān)鍵作用，它可以幫助分析和理解用戶在不同階段的行為對(duì)最終轉(zhuǎn)化（例如購(gòu)買、注冊(cè)等）的貢獻(xiàn)，從而優(yōu)化營(yíng)銷策略和資源分配。這有助于了解用戶決策路徑、優(yōu)化轉(zhuǎn)化率，以及對(duì)不同營(yíng)銷渠道和策略進(jìn)行評(píng)估和優(yōu)化。

用戶路徑建模：客戶端上報(bào)的埋點(diǎn)數(shù)據(jù)將被用于構(gòu)建用戶路徑模型，即用戶在整個(gè)流程中的行為路徑。這可以通過(guò)分析用戶在頁(yè)面之間的轉(zhuǎn)換關(guān)系來(lái)實(shí)現(xiàn)，整個(gè)過(guò)程會(huì)形成一個(gè)動(dòng)態(tài)的路徑圖。

該模型包含以下節(jié)點(diǎn)：

路徑起點(diǎn)：轉(zhuǎn)化事件發(fā)生前最后一次進(jìn)入支付寶首頁(yè)

裁剪點(diǎn)：從相同的頁(yè)面跳出又跳入，兩次跳入之間沒(méi)有發(fā)現(xiàn)轉(zhuǎn)化事件，中間日志對(duì)轉(zhuǎn)化達(dá)成無(wú)效，可以剪裁

有效轉(zhuǎn)化節(jié)點(diǎn)：轉(zhuǎn)化主鏈路上的有效轉(zhuǎn)化日志

無(wú)效轉(zhuǎn)化節(jié)點(diǎn)：轉(zhuǎn)化鏈路上的無(wú)效轉(zhuǎn)化日志

路徑終點(diǎn)：轉(zhuǎn)化事件前的最后一條日志

經(jīng)過(guò)裁剪的最終轉(zhuǎn)化鏈路：A(1)->B(6)->F(7)->G(8)->H(9)

3、實(shí)時(shí)流量轉(zhuǎn)化歸因整體技術(shù)架構(gòu)

這是實(shí)時(shí)流量轉(zhuǎn)化歸因的整體技術(shù)架構(gòu)，其中數(shù)據(jù)部分比較核心的是基于業(yè)務(wù)中間層的轉(zhuǎn)化事件定義（如交易支付、權(quán)益核銷等）和轉(zhuǎn)化數(shù)據(jù)模型的 Schema 歸一化。通過(guò)對(duì)不同轉(zhuǎn)化事件類型的 Schema 歸一化可以屏蔽不同業(yè)務(wù)的差異，便于下游消費(fèi)使用。在此基礎(chǔ)上，通過(guò)邏輯視圖可以實(shí)現(xiàn)對(duì)不同業(yè)務(wù)場(chǎng)景分類消費(fèi)的支持，大大提升了數(shù)據(jù)消費(fèi)的效率。最后是基于流圖的轉(zhuǎn)化歸因計(jì)算，輸入是流量和轉(zhuǎn)化事件，輸出是轉(zhuǎn)化的歸因結(jié)果。

4、基于流式圖計(jì)算的的實(shí)時(shí)流量轉(zhuǎn)化歸因

目前，用戶行為日志主要以“訪問(wèn)”和“點(diǎn)擊”為主，“曝光”由于數(shù)據(jù)量大、上傳延遲高暫沒(méi)有使用。根據(jù)實(shí)時(shí)的用戶訪問(wèn)行為日志和用戶點(diǎn)擊行為日志通過(guò)流式圖計(jì)算引擎進(jìn)行實(shí)時(shí)構(gòu)圖，當(dāng)轉(zhuǎn)化事件到達(dá)時(shí)進(jìn)行歸因路徑計(jì)算，即根據(jù)流量轉(zhuǎn)化歸因模型從橙色節(jié)點(diǎn)（路徑起點(diǎn)）到綠色節(jié)點(diǎn)（路徑終點(diǎn)）的鏈路計(jì)算，最后將其結(jié)果輸出到下游的 MQ 和 OLAP。

該系統(tǒng)從用戶端到后端的數(shù)據(jù)采集時(shí)效已經(jīng)達(dá)到五分鐘90%以上，十分鐘接近100%，已可以滿足絕大多數(shù)業(yè)務(wù)需求。

5、實(shí)時(shí)流量轉(zhuǎn)化歸因數(shù)據(jù)鏈路

以上是實(shí)時(shí)生產(chǎn)過(guò)程中的實(shí)時(shí)轉(zhuǎn)化鏈路，上游主要有兩種數(shù)據(jù)源，一種是客戶端埋點(diǎn)采集，一種是服務(wù)端數(shù)據(jù)采集（如服務(wù)端日志、數(shù)據(jù)庫(kù) binlog）。一般而言服務(wù)端數(shù)據(jù)采集實(shí)效性比較快，除了中間件的抖動(dòng)，其上報(bào)速度在秒級(jí)。整個(gè)鏈路的主要延遲集中在流量上報(bào)環(huán)節(jié)和流圖計(jì)算環(huán)節(jié)，其中流量上報(bào)環(huán)節(jié)由于客戶端、網(wǎng)絡(luò)等多種因素變量較大，而流圖計(jì)算環(huán)節(jié)則是可控的人為設(shè)定的等待時(shí)間窗口，因?yàn)閷?shí)際的流量、轉(zhuǎn)化事件上傳不是嚴(yán)格有序及時(shí)上傳的，這個(gè)等待窗口大小的設(shè)定也要結(jié)合歸因的時(shí)效性和準(zhǔn)確性綜合考慮權(quán)衡。最終這些數(shù)據(jù)會(huì)加工處理成 DWD 中間層供下游營(yíng)銷等應(yīng)用場(chǎng)景使用。

三、流式圖計(jì)算在實(shí)時(shí) OLAP 場(chǎng)景的探索

1、后置計(jì)算

后置計(jì)算是流計(jì)算的一種研發(fā)模式。當(dāng)前螞蟻實(shí)時(shí)計(jì)算以“前置計(jì)算”為主，正逐步發(fā)展成為包括“后置計(jì)算”在內(nèi)的支持不同業(yè)務(wù)場(chǎng)景的“多模式計(jì)算”研發(fā)模式。

前置預(yù)計(jì)算模式：在數(shù)據(jù)進(jìn)入 OLAP 系統(tǒng)之前，提前對(duì)部分計(jì)算進(jìn)行處理，從而減輕后續(xù)計(jì)算的負(fù)擔(dān)，加速數(shù)據(jù)處理和分析過(guò)程。廣泛應(yīng)用于大數(shù)據(jù)量，數(shù)據(jù)時(shí)效和查詢性能要求高的場(chǎng)景，如實(shí)時(shí)大屏。其優(yōu)點(diǎn)為數(shù)據(jù)時(shí)效快，查詢性能高。其缺點(diǎn)為數(shù)據(jù)容錯(cuò)性差，靈活性低。

前置打?qū)捄笾镁酆希?/strong>從 TP 到 AP 階段進(jìn)行數(shù)據(jù)打?qū)挘?AP 階段進(jìn)行聚合。其優(yōu)點(diǎn)為靈活性適中，數(shù)據(jù)容錯(cuò)高。缺點(diǎn)為查詢性能一般。因而適用于業(yè)務(wù)確定性比較高的場(chǎng)景，例如直播分析看板。

后置聚合：從 TP 到 AP 階段進(jìn)行實(shí)時(shí)同步，保存原始數(shù)據(jù)，其優(yōu)點(diǎn)為靈活性較高，且數(shù)據(jù)容錯(cuò)率高，但是查詢性能低。適用于業(yè)務(wù)不確定性比較高的場(chǎng)景，例如自助分析。

以實(shí)時(shí)特征研發(fā)為例，基于后置計(jì)算模式后，新增特征只需要在特征平臺(tái)進(jìn)行特征視圖配置，無(wú)需為不同特征加工建設(shè)不同的 Flink 實(shí)時(shí)任務(wù)，實(shí)時(shí)特征研發(fā)效率得到極大提升。

2、后置計(jì)算：基于流式圖計(jì)算在營(yíng)銷實(shí)時(shí) OLAP 場(chǎng)景的探索

接下來(lái)介紹支付寶營(yíng)銷場(chǎng)景后置計(jì)算的一個(gè)案例，即流式圖計(jì)算在實(shí)時(shí) OLAP 場(chǎng)景的探索。采用流圖進(jìn)行后置計(jì)算后，在數(shù)據(jù)模型和研發(fā)模式上都發(fā)生了比較大的變化。

數(shù)據(jù)模型方面，過(guò)去在我們完成基礎(chǔ)的 ODS、DWD 建設(shè)后，隨著時(shí)間和復(fù)雜度的增加，ADM 應(yīng)用層的數(shù)量會(huì)急劇上升（各種維度的指標(biāo)報(bào)表），這給開(kāi)發(fā)和運(yùn)維工作都帶來(lái)了極大壓力。采用流圖后，基于用戶去做圖建模，將權(quán)益和玩法等業(yè)務(wù)層面與用戶本身建立關(guān)系，形成一個(gè)圖關(guān)系網(wǎng)，再進(jìn)行后置分析。

研發(fā)模式方面，經(jīng)典的研發(fā)模式是指標(biāo)需求驅(qū)動(dòng)研發(fā)，先采集上游數(shù)據(jù)，形成維度等中間表，再根據(jù)不同的場(chǎng)景去計(jì)算對(duì)應(yīng)需求的指標(biāo)。這個(gè)模型的缺點(diǎn)是對(duì)于內(nèi)部運(yùn)營(yíng)非常態(tài)化需求的指標(biāo)數(shù)據(jù)而言，浪費(fèi)了前置計(jì)算量。基于流圖的后置計(jì)算可以有效的避免這個(gè)浪費(fèi)，只有業(yè)務(wù)有需求需要查看數(shù)據(jù)時(shí)，才進(jìn)行計(jì)算，即保證了數(shù)據(jù)時(shí)效性也避免了計(jì)算浪費(fèi)。除此之外，模型的靈活性比較高，對(duì)于臨時(shí)增加計(jì)算節(jié)點(diǎn)和指標(biāo)等行為的代價(jià)比較小?？偠灾笾昧鲌D計(jì)算更符合如今高復(fù)雜度，高靈活性需求的應(yīng)用場(chǎng)景。

流式計(jì)算引擎與傳統(tǒng)基于 OLAP 的引擎內(nèi)測(cè)對(duì)比發(fā)現(xiàn)，對(duì)于單表場(chǎng)景，流式計(jì)算引擎性能稍顯遜色，但是多表關(guān)聯(lián)場(chǎng)景，其性能明顯優(yōu)于基于 OLAP 的引擎。

四、流式圖計(jì)算在實(shí)時(shí)用戶行為意圖分析場(chǎng)景的探索

另一個(gè)我們基于流式圖計(jì)算的探索是在數(shù)字金融領(lǐng)域，在財(cái)富場(chǎng)景進(jìn)行的用戶行為意圖分析。以前，我們對(duì)用戶行為意圖的分析主要是使用一維的用戶行為特征或者二維的用戶行為序列。類似上面提到的流量轉(zhuǎn)化歸因的例子，用戶實(shí)際的行為是復(fù)雜多變的、噪音較多，傳統(tǒng)的數(shù)據(jù)模型在意圖識(shí)別準(zhǔn)確度，尤其是大規(guī)模數(shù)據(jù)的精準(zhǔn)意圖識(shí)別上還存在比較大的挑戰(zhàn)。

上圖通過(guò)對(duì)用戶行為意圖的實(shí)時(shí)構(gòu)圖及對(duì)不同節(jié)點(diǎn)意圖分的計(jì)算，得到用戶最有可能感興趣的產(chǎn)品。比如用戶在進(jìn)入支付寶理財(cái) tab 頁(yè)，可能在不同的頁(yè)面（如引導(dǎo)、承接、交易）訪問(wèn)了不同的基金產(chǎn)品，這其中結(jié)合基金產(chǎn)品的 spm 和訪問(wèn)次數(shù)會(huì)計(jì)算一個(gè)意圖分，并綜合整個(gè)路徑中不同意圖分的情況得到一個(gè)用戶最可能交易的意圖節(jié)點(diǎn)。另一方面，基于這些用戶偏好的產(chǎn)品節(jié)點(diǎn)，可以進(jìn)一步推演出用戶感興趣的產(chǎn)品類目，基于這些數(shù)據(jù)可以實(shí)現(xiàn)更豐富的推廣營(yíng)銷。

基于流圖可以實(shí)現(xiàn)更加快速精準(zhǔn)識(shí)別用戶行為意圖，與傳統(tǒng)的推薦算法不同，作為一個(gè)實(shí)時(shí)數(shù)據(jù)方案，它具備高時(shí)效性、過(guò)程白盒化、可人工干預(yù)擴(kuò)展節(jié)點(diǎn)、消除噪音意圖識(shí)別更精準(zhǔn)、后置計(jì)算效率更高等特點(diǎn)。

五、未來(lái)展望

展望未來(lái)主要包括以下這些：

基于流圖的實(shí)時(shí) OLAP 在營(yíng)銷場(chǎng)景的推廣應(yīng)用

基于流圖的實(shí)時(shí)用戶行為意圖分析在數(shù)金、內(nèi)容等場(chǎng)景的推廣應(yīng)用

基于流圖的實(shí)時(shí)歸因能力在廣告鏈路診斷場(chǎng)景的應(yīng)用探索

流圖開(kāi)源項(xiàng)目的貢獻(xiàn)參與