一、數(shù)字化轉(zhuǎn)型背景下，企業(yè)數(shù)據(jù)平臺面臨多重挑戰(zhàn)

1

數(shù)據(jù)平臺是支撐企業(yè)數(shù)字化轉(zhuǎn)型的核心基礎(chǔ)設施

數(shù)據(jù)平臺是企業(yè)進行數(shù)據(jù)分析和數(shù)據(jù)應用，從而實現(xiàn)數(shù)字化轉(zhuǎn)型的核心基礎(chǔ)設施。通常，數(shù)據(jù)平臺包含數(shù)據(jù)采集與接入、數(shù)據(jù)存儲與計算、數(shù)據(jù)管理、數(shù)據(jù)分析與挖掘、數(shù)據(jù)服務等功能。

從業(yè)務的角度，數(shù)據(jù)平臺支撐了企業(yè)數(shù)字化轉(zhuǎn)型的各項需求，企業(yè)因此能夠?qū)崿F(xiàn)精細化運營，從而降低運營成本、提高運營效率、提升創(chuàng)新能力。具體而言，通過數(shù)據(jù)平臺的應用，企業(yè)可以在業(yè)務中實現(xiàn)數(shù)據(jù)驅(qū)動，從而達成以下目標：

1）準確洞察用戶畫像和用戶需求；

2）及時感知市場趨勢；

3）降低管理和生產(chǎn)成本；

4）設計和生產(chǎn)出更符合用戶需求的產(chǎn)品；

5）更快地推出和迭代產(chǎn)品。

2

企業(yè)數(shù)據(jù)管理與應用正面臨一系列挑戰(zhàn)

近年來，面對市場環(huán)境的快速變化，以及政府對發(fā)展數(shù)字經(jīng)濟的促進舉措，企業(yè)對數(shù)字化的價值的理解愈加深刻。在各行業(yè)企業(yè)或政府部門紛紛加快數(shù)據(jù)基礎(chǔ)設施的建設的同時，數(shù)據(jù)在企業(yè)經(jīng)營管理中的應用廣度和深度也隨之極大地擴展，由此帶來數(shù)據(jù)管理與應用的一系列問題和挑戰(zhàn)。

（1）數(shù)據(jù)規(guī)模持續(xù)膨脹，數(shù)據(jù)資產(chǎn)管理重要性提升

隨著企業(yè)業(yè)務的快速發(fā)展以及全面的數(shù)字化，企業(yè)內(nèi)部業(yè)務和數(shù)據(jù)系統(tǒng)會變得眾多，當這些數(shù)據(jù)匯聚之后，需要處理的各種結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)規(guī)模也因此急劇膨脹。

這給企業(yè)的數(shù)據(jù)應用和數(shù)據(jù)資產(chǎn)管理帶來了以下問題：

1）不確定數(shù)據(jù)價值。

企業(yè)用戶往往不能確定系統(tǒng)中有哪些數(shù)據(jù)，也不知道自己的業(yè)務問題可以使用哪些數(shù)據(jù)來解決。

2）不能共享數(shù)據(jù)。

企業(yè)缺少統(tǒng)一的數(shù)據(jù)管理標準，導致各業(yè)務部門之間難以對數(shù)據(jù)進行匯聚、共享和使用，從而無法發(fā)揮大數(shù)據(jù)的協(xié)同價值。

3）難以獲取所需數(shù)據(jù)。

用戶獲取所需數(shù)據(jù)的過程太長和復雜，且缺乏有效的數(shù)據(jù)開發(fā)工具，導致用戶獲取和使用數(shù)據(jù)存在困難。

（2）數(shù)據(jù)應用場景持續(xù)擴展，敏捷性、易用性、實時性、智能化要求提升

為了充分發(fā)揮數(shù)據(jù)的價值，數(shù)據(jù)驅(qū)動的決策和業(yè)務應用正逐漸滲透進企業(yè)的各個部門和各個業(yè)務線。面對數(shù)據(jù)應用場景的持續(xù)擴展，企業(yè)對其底層數(shù)據(jù)平臺也提出更高的技術(shù)和能力要求，包括了敏捷性、易用性、實時性、智能化四個方面的要求，具體如下：

敏捷性。

企業(yè)存在大量數(shù)據(jù)分析，尤其是創(chuàng)新性的數(shù)據(jù)分析和應用需求。但傳統(tǒng)豎井式建設的信息系統(tǒng)修改困難、集成混亂；企業(yè)缺乏自有的技術(shù)開發(fā)能力，無法快速響應業(yè)務需求。

易用性。

數(shù)據(jù)平臺逐漸由賦能數(shù)據(jù)部門轉(zhuǎn)向全面賦能業(yè)務部門，而使用傳統(tǒng)數(shù)據(jù)平臺需要的編程和數(shù)據(jù)分析能力是大部分業(yè)務人員所不具備的，因此需要新一代的數(shù)據(jù)平臺具備低門檻的自助分析能力，適應不同能力的數(shù)據(jù)或業(yè)務人員。

實時性。

企業(yè)在生產(chǎn)和運營中存在越來越多的實時決策場景，如何快速查找、分析和獲得數(shù)據(jù)洞察是當前數(shù)據(jù)平臺面臨的一大挑戰(zhàn)，需要從平臺的架構(gòu)設計、計算和存儲引擎，以及業(yè)務流程優(yōu)化上滿足數(shù)據(jù)分析的實時性需求。

智能化。

在數(shù)據(jù)應用越來越多的背景下，企業(yè)相關(guān)的人力配備已不能滿足需求，因此需要平臺具備智能化的能力，一方面在數(shù)據(jù)分析環(huán)節(jié)引入自動化能力，減少人工操作，降低人力成本。另一方面，通過平臺的智能預測能力，提高業(yè)務決策效率和能力。

（3） 數(shù)據(jù)安全合規(guī)要求趨嚴

數(shù)字化時代，數(shù)據(jù)安全風險已經(jīng)滲透在數(shù)據(jù)應用中的各個層面，例如數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)存儲、數(shù)據(jù)共享等，因此企業(yè)數(shù)據(jù)泄漏造成的損失和風險的可能在加大。與此同時，大眾對數(shù)據(jù)隱私的關(guān)注，加上監(jiān)管對數(shù)據(jù)安全要求的趨嚴，都促使企業(yè)在搭建新一代的數(shù)據(jù)平臺時，需要在各個層級上都建立完善的安全機制防范數(shù)據(jù)泄漏的風險。

二、構(gòu)建新一代數(shù)據(jù)基礎(chǔ)設施：數(shù)據(jù)智能平臺

1

數(shù)據(jù)智能平臺的定義

要定義新一代的數(shù)據(jù)基礎(chǔ)設施，我們首先需要闡明在之前的發(fā)展階段中，不同階段的數(shù)據(jù)基礎(chǔ)設施產(chǎn)生的原因、應用場景和面對新階段的需求時的局限性。數(shù)據(jù)基礎(chǔ)設施經(jīng)過數(shù)十年的發(fā)展，已經(jīng)依次經(jīng)歷了三個階段：數(shù)據(jù)庫、數(shù)據(jù)倉庫、大數(shù)據(jù)平臺。在數(shù)據(jù)庫階段，企業(yè)對數(shù)據(jù)的使用需求主要是面向管理層從宏觀層面對公司的經(jīng)營狀況做描述性分析，處理的數(shù)據(jù)為有限的結(jié)構(gòu)化數(shù)據(jù)。

在數(shù)據(jù)倉庫階段，企業(yè)對數(shù)據(jù)的使用需求從面向管理層拓寬到面向業(yè)務人員，主要滿足一些業(yè)務監(jiān)測和洞察類的數(shù)據(jù)查詢和分析需求，處理的數(shù)據(jù)依然以結(jié)構(gòu)化數(shù)據(jù)為主。在大數(shù)據(jù)平臺階段，企業(yè)需要處理大規(guī)模、多源異構(gòu)的數(shù)據(jù)，對業(yè)務的監(jiān)測和洞察也更多地偏向診斷性和預測性分析。

而到了2019年之后數(shù)字化轉(zhuǎn)型的新階段中，企業(yè)對數(shù)據(jù)應用的范圍從之前的管理層和部分業(yè)務人員擴展到了跨部門、跨企業(yè)的數(shù)據(jù)共享，需要進行大量面向業(yè)務，實時和智能決策的探索式、自助式分析，并且需要處理超大規(guī)模的多源異構(gòu)和實時數(shù)據(jù)。如第一章節(jié)所述，這些變化對數(shù)據(jù)管理和應用帶來了一系列挑戰(zhàn)和需求，傳統(tǒng)的數(shù)據(jù)平臺已經(jīng)無法滿足，新一代的數(shù)據(jù)基礎(chǔ)設施即是要解決這些問題。

因此，新一代的數(shù)據(jù)基礎(chǔ)設施，數(shù)據(jù)智能平臺，可以被定義為企業(yè)數(shù)字化運營深入階段的統(tǒng)一數(shù)據(jù)能力平臺，能夠?qū)��?shù)據(jù)資產(chǎn)按統(tǒng)一標準進行管理以方便數(shù)據(jù)可用，并滿足企業(yè)對數(shù)據(jù)應用的敏捷開發(fā)、實時響應、簡單易用、智能分析等需求，同時具備完善的數(shù)據(jù)安全機制。

2

數(shù)據(jù)智能平臺的核心能力

基于對數(shù)字化轉(zhuǎn)型深入階段，企業(yè)在數(shù)據(jù)管理和應用中需要面對和解決的問題的理解，以及對一些行業(yè)領(lǐng)先企業(yè)在搭建數(shù)據(jù)智能平臺中的實踐案例的調(diào)研和經(jīng)驗總結(jié)，正在興起的新一代數(shù)據(jù)智能平臺需要具備云原生、AI增強、敏捷開發(fā)與應用、實時數(shù)據(jù)處理與分析四大核心能力

（1） 云原生

云原生是指在應用的設計階段就為了云的運行環(huán)境而設計，包含微服務、容器化、DevOps、持續(xù)交付等特征。

云原生架構(gòu)能夠為數(shù)據(jù)平臺帶來以下主要能力優(yōu)勢：

1）云原生架構(gòu)下大數(shù)據(jù)組件都是以容器化的形式來部署，企業(yè)因此能夠快速的開發(fā)、測試、迭代和上線大數(shù)據(jù)應用，并且方便了數(shù)據(jù)的共享和復用。

2）快速集成新的開發(fā)工具。企業(yè)經(jīng)常需要在數(shù)據(jù)平臺中嘗試新的功能組件，由于主流的開源軟件基本都提供了容器化部署，因此能夠快速集成到云原生架構(gòu)的數(shù)據(jù)平臺中。

3）降低系統(tǒng)復雜性和運維成本。在云原生架構(gòu)的數(shù)據(jù)平臺中，Kubernetes、Mesos等工具能夠?qū)崿F(xiàn)統(tǒng)一的資源管理和調(diào)度，這極大提高了系統(tǒng)復雜性，提高了運行效率，并且在數(shù)據(jù)平臺中部署和運行分布式系統(tǒng)也更加便捷。

4）輕松實現(xiàn)存算分離和彈性伸縮，降低使用成本。云原生架構(gòu)能夠輕松實現(xiàn)計算和存儲資源的分離，企業(yè)因此可以按照需求分別使用存儲和計算資源，這降低了使用成本，也簡化了多云和混合云部署。

（2）AI增強

AI增強是指利用機器學習和人工智能技術(shù)使數(shù)據(jù)清洗與準備、數(shù)據(jù)分析與可視化、機器學習等分析過程中實現(xiàn)部分環(huán)節(jié)的自動化，從而節(jié)省大量的人力成本。

AI增強的自動化能力主要體現(xiàn)在數(shù)據(jù)智能平臺運營過程中的以下環(huán)節(jié)：

1）數(shù)據(jù)清洗與準備：自動匹配，聯(lián)接，分析，標記和注釋數(shù)據(jù)；推薦用于連接、豐富、清洗數(shù)據(jù)的最佳方法；自動執(zhí)行重復的轉(zhuǎn)換和集成；自動識別數(shù)據(jù)沿襲和元數(shù)據(jù)。

2）數(shù)據(jù)分析與可視化：自動查找和描述數(shù)據(jù)中的相關(guān)性、異常、聚類、關(guān)鍵驅(qū)動因素和預測等；自動生成圖表或報表；可視化或?qū)υ捊缑妫∟LQ&NLG）查找和分析數(shù)據(jù)。

3）機器學習：自動特征工程；自動模型選擇和參數(shù)調(diào)整；自動模型部署和監(jiān)控。

（3）敏捷開發(fā)與應用

數(shù)字化的核心目標之一是要能夠支撐企業(yè)的商業(yè)創(chuàng)新，尤其是當數(shù)據(jù)和數(shù)據(jù)應用的規(guī)模和復雜性越來越大的時候，企業(yè)要去嘗試各種新的數(shù)據(jù)應用，就需要數(shù)據(jù)平臺具備相應的敏捷響應能力。

數(shù)據(jù)智能平臺的敏捷性主要包括了工具集成的敏捷性、數(shù)據(jù)開發(fā)的敏捷性、數(shù)據(jù)分析和應用的敏捷性。

1）工具集成的敏捷性。

當企業(yè)需要嘗試新的數(shù)據(jù)應用時，經(jīng)常需要用到一些新的分析框架，如前文提到，云原生架構(gòu)能夠為企業(yè)提供快速接入和部署新的工具或組件的敏捷化能力。

2）數(shù)據(jù)開發(fā)的敏捷性。

數(shù)據(jù)開發(fā)的目的是使用各種工具，包括數(shù)據(jù)建模、數(shù)據(jù)探索、數(shù)據(jù)查詢、機器學習、數(shù)據(jù)可視化等，來完成數(shù)據(jù)分析。要實現(xiàn)敏捷的數(shù)據(jù)開發(fā)，通常需要企業(yè)構(gòu)建一站式的數(shù)據(jù)集成和開發(fā)平臺，提供大數(shù)據(jù)的匯聚、加工、服務、資產(chǎn)管理等全流程能力，并降低其使用門檻。

3）數(shù)據(jù)分析和應用的敏捷性。

實現(xiàn)數(shù)據(jù)分析和應用的敏捷性數(shù)據(jù)平臺在底層數(shù)據(jù)管理和數(shù)據(jù)分析工具上有相應的功能設計，比如，通過建立標簽體系方便用戶將數(shù)據(jù)快速應用于業(yè)務，通過提供可視化的分析工具靈活地滿足用戶的分析需求，通過AI增強能力自動識別有價值的數(shù)據(jù)并推送給用戶等。

（4）實時數(shù)據(jù)處理與分析

為了應對企業(yè)越來愈多的實時性數(shù)據(jù)分析需求，數(shù)據(jù)平臺需要在以下層面具備實時性的數(shù)據(jù)處理能力：

1）實時的數(shù)據(jù)接入和數(shù)據(jù)采集。

應用Kafka、RocketMQ等工具實現(xiàn)數(shù)據(jù)的實時采集。同時，對于核心業(yè)務系統(tǒng)數(shù)據(jù)，進行被動采集；對于用戶訪問行為習慣等數(shù)據(jù)，則會進行主動采集。

2）實時的數(shù)據(jù)計算與查詢。

基于Flink等實時計算引擎，以及指標計算、規(guī)則計算、模型計算等多種計算處理能力，構(gòu)建數(shù)據(jù)平臺的實時計算和查詢能力。

3）實時的數(shù)據(jù)分發(fā)。

通過Kafka實現(xiàn)靈活的數(shù)據(jù)分發(fā)，以承載不同用戶的實時業(yè)務。

4）流批一體。

由于企業(yè)在業(yè)務分析中使用的數(shù)據(jù)范圍越來愈多地橫跨歷史數(shù)據(jù)和實時數(shù)據(jù)，需要數(shù)據(jù)平臺具備流批一體的能力，用一套邏輯描述流與批業(yè)務，用一個引擎也能處理實時和離線數(shù)據(jù)。

3

新一代數(shù)據(jù)智能平臺的架構(gòu)

結(jié)合前文所述的當前企業(yè)在數(shù)據(jù)管理和應用中面臨的挑戰(zhàn)，以及對一些領(lǐng)先企業(yè)搭建的數(shù)據(jù)智能平臺的架構(gòu)進行歸納總結(jié)，可以看到，新一代的數(shù)據(jù)智能平臺的架構(gòu)至少在五個層面具有區(qū)別于傳統(tǒng)數(shù)據(jù)平臺架構(gòu)的特征。

三、數(shù)據(jù)智能平臺的建設方法論

類似傳統(tǒng)數(shù)據(jù)平臺的構(gòu)建，數(shù)據(jù)智能平臺的構(gòu)建是一個需要從全局進行規(guī)劃和建設，并在后續(xù)運行中能夠持續(xù)迭代的系統(tǒng)性工程，因此需要一套科學和完備的方法論指導這一過程。通過對多家領(lǐng)先企業(yè)的數(shù)據(jù)智能平臺實踐案例進行調(diào)研，總結(jié)了數(shù)據(jù)智能平臺建設過程中比較共性的最佳實踐方法論，涉及的核心環(huán)節(jié)主要包括頂層戰(zhàn)略規(guī)劃、應用場景規(guī)劃、基礎(chǔ)架構(gòu)設計、數(shù)據(jù)規(guī)范與數(shù)據(jù)架構(gòu)設計、組織與人員規(guī)劃等方面。他們構(gòu)成的數(shù)據(jù)智能平臺建設的主要流程

1

頂層戰(zhàn)略規(guī)劃

數(shù)據(jù)智能平臺是支撐企業(yè)數(shù)字化轉(zhuǎn)型的新一代數(shù)據(jù)基礎(chǔ)設施，是企業(yè)各部門各業(yè)務線共同的數(shù)據(jù)平臺和數(shù)據(jù)服務體系，因此，數(shù)據(jù)智能平臺的建設的核心目的是服務于企業(yè)的整體戰(zhàn)略目標和業(yè)務目標。同時，數(shù)據(jù)智能平臺的建設不僅僅涉及技術(shù)架構(gòu)，還會涉及企業(yè)的業(yè)務模式和組織架構(gòu)，因此企業(yè)應當以頂層戰(zhàn)略為起點，根據(jù)業(yè)務目標規(guī)劃數(shù)據(jù)智能平臺的的建設藍圖與路徑。此外，傳統(tǒng)企業(yè)的部門墻問題明顯，要實現(xiàn)各部門間的溝通協(xié)作，共建數(shù)據(jù)智能平臺，需要企業(yè)決策層在組織架構(gòu)和資源方面給予統(tǒng)一的調(diào)配和支持。

2

應用場景規(guī)劃

數(shù)據(jù)智能平臺的價值最終需要通過業(yè)務場景中的數(shù)據(jù)應用來體現(xiàn)，因此，平臺建設必須應用場景規(guī)劃先行，數(shù)據(jù)智能平臺應用場景規(guī)劃需要考慮以下關(guān)鍵因素：評估企業(yè)業(yè)務需求和數(shù)據(jù)現(xiàn)狀。從具體的業(yè)務需求場景厘清相關(guān)的業(yè)務線、相關(guān)崗位和業(yè)務流程，梳理其中的業(yè)務需求。同時，對企業(yè)的數(shù)據(jù)資產(chǎn)進行評估，厘清企業(yè)有哪些數(shù)據(jù)、需要補充哪些數(shù)據(jù)等。明確場景實現(xiàn)優(yōu)先級。企業(yè)需要基于企業(yè)戰(zhàn)略與業(yè)務目標，可實現(xiàn)的業(yè)務價值、數(shù)據(jù)應用的實現(xiàn)成本、數(shù)據(jù)應用的可行性等方面進行評估，確定哪些優(yōu)先級和緊急度比較高的場景可以應用數(shù)據(jù)平臺解決業(yè)務問題。調(diào)研和參考外部案例。企業(yè)在建設數(shù)據(jù)平臺前應當盡可能多地進行相關(guān)調(diào)研，并參考同行實踐案例，總結(jié)相關(guān)經(jīng)驗。同時，可以借助有成熟經(jīng)驗的數(shù)據(jù)平臺建設廠商幫助企業(yè)解決相關(guān)問題。

3

基礎(chǔ)架構(gòu)設計

好的基礎(chǔ)架構(gòu)設計能夠讓項目快速落地，并支持在現(xiàn)有系統(tǒng)上快速開發(fā)新功能、引入新數(shù)據(jù)，而一旦選擇某個技術(shù)架構(gòu)并開始實施，后面出現(xiàn)問題再來修改的成本很高。構(gòu)建新一代的數(shù)據(jù)智能平臺需要在基礎(chǔ)架構(gòu)設計上考慮以下要點：1）引入云原生架構(gòu)，以便快速開發(fā)、測試、上線和迭代數(shù)據(jù)應用，同時滿足在工具集成、系統(tǒng)運維、以及存儲和計算資源上的各種敏捷性要求。2）應用多種數(shù)據(jù)處理引擎應對多樣化的數(shù)據(jù)分析場景需求，重點是為平臺構(gòu)建智能化和實時化的數(shù)據(jù)處理能力。3）對數(shù)據(jù)和數(shù)據(jù)應用資產(chǎn)進行統(tǒng)一的管理，避免數(shù)據(jù)資產(chǎn)不明確、使用復雜、效益低下等問題，方便數(shù)據(jù)資產(chǎn)的使用、共享和復用。

4

數(shù)據(jù)規(guī)范與數(shù)據(jù)架構(gòu)設計

為了保證用戶能夠在數(shù)據(jù)平臺中快速找到自己所需的數(shù)據(jù)，企業(yè)需要對數(shù)據(jù)架構(gòu)，即數(shù)據(jù)的組織方式，以及數(shù)據(jù)規(guī)范，即數(shù)據(jù)平臺中輸入和輸出的數(shù)據(jù)符合規(guī)范，進行合理地設計。1）企業(yè)需要根據(jù)業(yè)務目標及業(yè)務流程設計平臺的數(shù)據(jù)架構(gòu)，包括平臺提供的明細數(shù)據(jù)、匯總數(shù)據(jù)、數(shù)據(jù)分析結(jié)果、數(shù)據(jù)服務等。2）對數(shù)據(jù)平臺的輸入數(shù)據(jù)和輸出數(shù)據(jù)進行統(tǒng)一規(guī)范，如在所有業(yè)務系統(tǒng)中使用統(tǒng)一的全局ID，用原子指標、統(tǒng)計顆粒度、業(yè)務限定等維度來派生指標名稱，構(gòu)建指標體系。

5

組織與人員規(guī)劃

數(shù)據(jù)智能平臺的能力與業(yè)務高度相關(guān)，因為平臺的搭建需要IT部門、數(shù)據(jù)部門、以及各業(yè)務部門溝通協(xié)調(diào)，對人員進行統(tǒng)籌安排。根據(jù)企業(yè)數(shù)據(jù)能力現(xiàn)狀，在集中式和去中心化兩種人員模式中選其一

1）集中式模式：組建一個專門的數(shù)據(jù)智能平臺團隊，由該團隊負責所有數(shù)據(jù)能力的規(guī)劃和開發(fā)。該模式好處在于數(shù)據(jù)能力的規(guī)劃和實現(xiàn)比較直接，能夠快速落地，難點在于需要團隊理解業(yè)務。該模式適合公司業(yè)務體系相對簡單，且軟件在企業(yè)內(nèi)部只是輔助工具的傳統(tǒng)型企業(yè)。

2）去中心化模式：由傳統(tǒng)的數(shù)據(jù)平臺團隊搭建底層的平臺，各業(yè)務部門在平臺上開發(fā)和使用所需的數(shù)據(jù)應用。該模式好處在于業(yè)務部門對業(yè)務最理解，能夠開發(fā)出最滿足業(yè)務需求的數(shù)據(jù)應用，且后續(xù)迭代也更方便，難點在于需要處理好部門分工和協(xié)調(diào)的問題。該模式適合業(yè)務線龐雜，業(yè)務定制化需求較多的大型企業(yè)。