一、數(shù)字化轉(zhuǎn)型背景下，企業(yè)數(shù)據(jù)平臺(tái)面臨多重挑戰(zhàn)

1

數(shù)據(jù)平臺(tái)是支撐企業(yè)數(shù)字化轉(zhuǎn)型的核心基礎(chǔ)設(shè)施

數(shù)據(jù)平臺(tái)是企業(yè)進(jìn)行數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用，從而實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型的核心基礎(chǔ)設(shè)施。通常，數(shù)據(jù)平臺(tái)包含數(shù)據(jù)采集與接入、數(shù)據(jù)存儲(chǔ)與計(jì)算、數(shù)據(jù)管理、數(shù)據(jù)分析與挖掘、數(shù)據(jù)服務(wù)等功能。

從業(yè)務(wù)的角度，數(shù)據(jù)平臺(tái)支撐了企業(yè)數(shù)字化轉(zhuǎn)型的各項(xiàng)需求，企業(yè)因此能夠?qū)崿F(xiàn)精細(xì)化運(yùn)營(yíng)，從而降低運(yùn)營(yíng)成本、提高運(yùn)營(yíng)效率、提升創(chuàng)新能力。具體而言，通過數(shù)據(jù)平臺(tái)的應(yīng)用，企業(yè)可以在業(yè)務(wù)中實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)，從而達(dá)成以下目標(biāo)：

1）準(zhǔn)確洞察用戶畫像和用戶需求；

2）及時(shí)感知市場(chǎng)趨勢(shì)；

3）降低管理和生產(chǎn)成本；

4）設(shè)計(jì)和生產(chǎn)出更符合用戶需求的產(chǎn)品；

5）更快地推出和迭代產(chǎn)品。

2

企業(yè)數(shù)據(jù)管理與應(yīng)用正面臨一系列挑戰(zhàn)

近年來，面對(duì)市場(chǎng)環(huán)境的快速變化，以及政府對(duì)發(fā)展數(shù)字經(jīng)濟(jì)的促進(jìn)舉措，企業(yè)對(duì)數(shù)字化的價(jià)值的理解愈加深刻。在各行業(yè)企業(yè)或政府部門紛紛加快數(shù)據(jù)基礎(chǔ)設(shè)施的建設(shè)的同時(shí)，數(shù)據(jù)在企業(yè)經(jīng)營(yíng)管理中的應(yīng)用廣度和深度也隨之極大地?cái)U(kuò)展，由此帶來數(shù)據(jù)管理與應(yīng)用的一系列問題和挑戰(zhàn)。

（1）數(shù)據(jù)規(guī)模持續(xù)膨脹，數(shù)據(jù)資產(chǎn)管理重要性提升

隨著企業(yè)業(yè)務(wù)的快速發(fā)展以及全面的數(shù)字化，企業(yè)內(nèi)部業(yè)務(wù)和數(shù)據(jù)系統(tǒng)會(huì)變得眾多，當(dāng)這些數(shù)據(jù)匯聚之后，需要處理的各種結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)規(guī)模也因此急劇膨脹。

這給企業(yè)的數(shù)據(jù)應(yīng)用和數(shù)據(jù)資產(chǎn)管理帶來了以下問題：

1）不確定數(shù)據(jù)價(jià)值。

企業(yè)用戶往往不能確定系統(tǒng)中有哪些數(shù)據(jù)，也不知道自己的業(yè)務(wù)問題可以使用哪些數(shù)據(jù)來解決。

2）不能共享數(shù)據(jù)。

企業(yè)缺少統(tǒng)一的數(shù)據(jù)管理標(biāo)準(zhǔn)，導(dǎo)致各業(yè)務(wù)部門之間難以對(duì)數(shù)據(jù)進(jìn)行匯聚、共享和使用，從而無法發(fā)揮大數(shù)據(jù)的協(xié)同價(jià)值。

3）難以獲取所需數(shù)據(jù)。

用戶獲取所需數(shù)據(jù)的過程太長(zhǎng)和復(fù)雜，且缺乏有效的數(shù)據(jù)開發(fā)工具，導(dǎo)致用戶獲取和使用數(shù)據(jù)存在困難。

（2）數(shù)據(jù)應(yīng)用場(chǎng)景持續(xù)擴(kuò)展，敏捷性、易用性、實(shí)時(shí)性、智能化要求提升

為了充分發(fā)揮數(shù)據(jù)的價(jià)值，數(shù)據(jù)驅(qū)動(dòng)的決策和業(yè)務(wù)應(yīng)用正逐漸滲透進(jìn)企業(yè)的各個(gè)部門和各個(gè)業(yè)務(wù)線。面對(duì)數(shù)據(jù)應(yīng)用場(chǎng)景的持續(xù)擴(kuò)展，企業(yè)對(duì)其底層數(shù)據(jù)平臺(tái)也提出更高的技術(shù)和能力要求，包括了敏捷性、易用性、實(shí)時(shí)性、智能化四個(gè)方面的要求，具體如下：

敏捷性。

企業(yè)存在大量數(shù)據(jù)分析，尤其是創(chuàng)新性的數(shù)據(jù)分析和應(yīng)用需求。但傳統(tǒng)豎井式建設(shè)的信息系統(tǒng)修改困難、集成混亂；企業(yè)缺乏自有的技術(shù)開發(fā)能力，無法快速響應(yīng)業(yè)務(wù)需求。

易用性。

數(shù)據(jù)平臺(tái)逐漸由賦能數(shù)據(jù)部門轉(zhuǎn)向全面賦能業(yè)務(wù)部門，而使用傳統(tǒng)數(shù)據(jù)平臺(tái)需要的編程和數(shù)據(jù)分析能力是大部分業(yè)務(wù)人員所不具備的，因此需要新一代的數(shù)據(jù)平臺(tái)具備低門檻的自助分析能力，適應(yīng)不同能力的數(shù)據(jù)或業(yè)務(wù)人員。

實(shí)時(shí)性。

企業(yè)在生產(chǎn)和運(yùn)營(yíng)中存在越來越多的實(shí)時(shí)決策場(chǎng)景，如何快速查找、分析和獲得數(shù)據(jù)洞察是當(dāng)前數(shù)據(jù)平臺(tái)面臨的一大挑戰(zhàn)，需要從平臺(tái)的架構(gòu)設(shè)計(jì)、計(jì)算和存儲(chǔ)引擎，以及業(yè)務(wù)流程優(yōu)化上滿足數(shù)據(jù)分析的實(shí)時(shí)性需求。

智能化。

在數(shù)據(jù)應(yīng)用越來越多的背景下，企業(yè)相關(guān)的人力配備已不能滿足需求，因此需要平臺(tái)具備智能化的能力，一方面在數(shù)據(jù)分析環(huán)節(jié)引入自動(dòng)化能力，減少人工操作，降低人力成本。另一方面，通過平臺(tái)的智能預(yù)測(cè)能力，提高業(yè)務(wù)決策效率和能力。

（3） 數(shù)據(jù)安全合規(guī)要求趨嚴(yán)

數(shù)字化時(shí)代，數(shù)據(jù)安全風(fēng)險(xiǎn)已經(jīng)滲透在數(shù)據(jù)應(yīng)用中的各個(gè)層面，例如數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)共享等，因此企業(yè)數(shù)據(jù)泄漏造成的損失和風(fēng)險(xiǎn)的可能在加大。與此同時(shí)，大眾對(duì)數(shù)據(jù)隱私的關(guān)注，加上監(jiān)管對(duì)數(shù)據(jù)安全要求的趨嚴(yán)，都促使企業(yè)在搭建新一代的數(shù)據(jù)平臺(tái)時(shí)，需要在各個(gè)層級(jí)上都建立完善的安全機(jī)制防范數(shù)據(jù)泄漏的風(fēng)險(xiǎn)。

二、構(gòu)建新一代數(shù)據(jù)基礎(chǔ)設(shè)施：數(shù)據(jù)智能平臺(tái)

1

數(shù)據(jù)智能平臺(tái)的定義

要定義新一代的數(shù)據(jù)基礎(chǔ)設(shè)施，我們首先需要闡明在之前的發(fā)展階段中，不同階段的數(shù)據(jù)基礎(chǔ)設(shè)施產(chǎn)生的原因、應(yīng)用場(chǎng)景和面對(duì)新階段的需求時(shí)的局限性。數(shù)據(jù)基礎(chǔ)設(shè)施經(jīng)過數(shù)十年的發(fā)展，已經(jīng)依次經(jīng)歷了三個(gè)階段：數(shù)據(jù)庫、數(shù)據(jù)倉庫、大數(shù)據(jù)平臺(tái)。在數(shù)據(jù)庫階段，企業(yè)對(duì)數(shù)據(jù)的使用需求主要是面向管理層從宏觀層面對(duì)公司的經(jīng)營(yíng)狀況做描述性分析，處理的數(shù)據(jù)為有限的結(jié)構(gòu)化數(shù)據(jù)。

在數(shù)據(jù)倉庫階段，企業(yè)對(duì)數(shù)據(jù)的使用需求從面向管理層拓寬到面向業(yè)務(wù)人員，主要滿足一些業(yè)務(wù)監(jiān)測(cè)和洞察類的數(shù)據(jù)查詢和分析需求，處理的數(shù)據(jù)依然以結(jié)構(gòu)化數(shù)據(jù)為主。在大數(shù)據(jù)平臺(tái)階段，企業(yè)需要處理大規(guī)模、多源異構(gòu)的數(shù)據(jù)，對(duì)業(yè)務(wù)的監(jiān)測(cè)和洞察也更多地偏向診斷性和預(yù)測(cè)性分析。

而到了2019年之后數(shù)字化轉(zhuǎn)型的新階段中，企業(yè)對(duì)數(shù)據(jù)應(yīng)用的范圍從之前的管理層和部分業(yè)務(wù)人員擴(kuò)展到了跨部門、跨企業(yè)的數(shù)據(jù)共享，需要進(jìn)行大量面向業(yè)務(wù)，實(shí)時(shí)和智能決策的探索式、自助式分析，并且需要處理超大規(guī)模的多源異構(gòu)和實(shí)時(shí)數(shù)據(jù)。如第一章節(jié)所述，這些變化對(duì)數(shù)據(jù)管理和應(yīng)用帶來了一系列挑戰(zhàn)和需求，傳統(tǒng)的數(shù)據(jù)平臺(tái)已經(jīng)無法滿足，新一代的數(shù)據(jù)基礎(chǔ)設(shè)施即是要解決這些問題。

因此，新一代的數(shù)據(jù)基礎(chǔ)設(shè)施，數(shù)據(jù)智能平臺(tái)，可以被定義為企業(yè)數(shù)字化運(yùn)營(yíng)深入階段的統(tǒng)一數(shù)據(jù)能力平臺(tái)，能夠?qū)��?shù)據(jù)資產(chǎn)按統(tǒng)一標(biāo)準(zhǔn)進(jìn)行管理以方便數(shù)據(jù)可用，并滿足企業(yè)對(duì)數(shù)據(jù)應(yīng)用的敏捷開發(fā)、實(shí)時(shí)響應(yīng)、簡(jiǎn)單易用、智能分析等需求，同時(shí)具備完善的數(shù)據(jù)安全機(jī)制。

2

數(shù)據(jù)智能平臺(tái)的核心能力

基于對(duì)數(shù)字化轉(zhuǎn)型深入階段，企業(yè)在數(shù)據(jù)管理和應(yīng)用中需要面對(duì)和解決的問題的理解，以及對(duì)一些行業(yè)領(lǐng)先企業(yè)在搭建數(shù)據(jù)智能平臺(tái)中的實(shí)踐案例的調(diào)研和經(jīng)驗(yàn)總結(jié)，正在興起的新一代數(shù)據(jù)智能平臺(tái)需要具備云原生、AI增強(qiáng)、敏捷開發(fā)與應(yīng)用、實(shí)時(shí)數(shù)據(jù)處理與分析四大核心能力

（1） 云原生

云原生是指在應(yīng)用的設(shè)計(jì)階段就為了云的運(yùn)行環(huán)境而設(shè)計(jì)，包含微服務(wù)、容器化、DevOps、持續(xù)交付等特征。

云原生架構(gòu)能夠?yàn)閿?shù)據(jù)平臺(tái)帶來以下主要能力優(yōu)勢(shì)：

1）云原生架構(gòu)下大數(shù)據(jù)組件都是以容器化的形式來部署，企業(yè)因此能夠快速的開發(fā)、測(cè)試、迭代和上線大數(shù)據(jù)應(yīng)用，并且方便了數(shù)據(jù)的共享和復(fù)用。

2）快速集成新的開發(fā)工具。企業(yè)經(jīng)常需要在數(shù)據(jù)平臺(tái)中嘗試新的功能組件，由于主流的開源軟件基本都提供了容器化部署，因此能夠快速集成到云原生架構(gòu)的數(shù)據(jù)平臺(tái)中。

3）降低系統(tǒng)復(fù)雜性和運(yùn)維成本。在云原生架構(gòu)的數(shù)據(jù)平臺(tái)中，Kubernetes、Mesos等工具能夠?qū)崿F(xiàn)統(tǒng)一的資源管理和調(diào)度，這極大提高了系統(tǒng)復(fù)雜性，提高了運(yùn)行效率，并且在數(shù)據(jù)平臺(tái)中部署和運(yùn)行分布式系統(tǒng)也更加便捷。

4）輕松實(shí)現(xiàn)存算分離和彈性伸縮，降低使用成本。云原生架構(gòu)能夠輕松實(shí)現(xiàn)計(jì)算和存儲(chǔ)資源的分離，企業(yè)因此可以按照需求分別使用存儲(chǔ)和計(jì)算資源，這降低了使用成本，也簡(jiǎn)化了多云和混合云部署。

（2）AI增強(qiáng)

AI增強(qiáng)是指利用機(jī)器學(xué)習(xí)和人工智能技術(shù)使數(shù)據(jù)清洗與準(zhǔn)備、數(shù)據(jù)分析與可視化、機(jī)器學(xué)習(xí)等分析過程中實(shí)現(xiàn)部分環(huán)節(jié)的自動(dòng)化，從而節(jié)省大量的人力成本。

AI增強(qiáng)的自動(dòng)化能力主要體現(xiàn)在數(shù)據(jù)智能平臺(tái)運(yùn)營(yíng)過程中的以下環(huán)節(jié)：

1）數(shù)據(jù)清洗與準(zhǔn)備：自動(dòng)匹配，聯(lián)接，分析，標(biāo)記和注釋數(shù)據(jù)；推薦用于連接、豐富、清洗數(shù)據(jù)的最佳方法；自動(dòng)執(zhí)行重復(fù)的轉(zhuǎn)換和集成；自動(dòng)識(shí)別數(shù)據(jù)沿襲和元數(shù)據(jù)。

2）數(shù)據(jù)分析與可視化：自動(dòng)查找和描述數(shù)據(jù)中的相關(guān)性、異常、聚類、關(guān)鍵驅(qū)動(dòng)因素和預(yù)測(cè)等；自動(dòng)生成圖表或報(bào)表；可視化或?qū)υ捊缑妫∟LQ&NLG）查找和分析數(shù)據(jù)。

3）機(jī)器學(xué)習(xí)：自動(dòng)特征工程；自動(dòng)模型選擇和參數(shù)調(diào)整；自動(dòng)模型部署和監(jiān)控。

（3）敏捷開發(fā)與應(yīng)用

數(shù)字化的核心目標(biāo)之一是要能夠支撐企業(yè)的商業(yè)創(chuàng)新，尤其是當(dāng)數(shù)據(jù)和數(shù)據(jù)應(yīng)用的規(guī)模和復(fù)雜性越來越大的時(shí)候，企業(yè)要去嘗試各種新的數(shù)據(jù)應(yīng)用，就需要數(shù)據(jù)平臺(tái)具備相應(yīng)的敏捷響應(yīng)能力。

數(shù)據(jù)智能平臺(tái)的敏捷性主要包括了工具集成的敏捷性、數(shù)據(jù)開發(fā)的敏捷性、數(shù)據(jù)分析和應(yīng)用的敏捷性。

1）工具集成的敏捷性。

當(dāng)企業(yè)需要嘗試新的數(shù)據(jù)應(yīng)用時(shí)，經(jīng)常需要用到一些新的分析框架，如前文提到，云原生架構(gòu)能夠?yàn)槠髽I(yè)提供快速接入和部署新的工具或組件的敏捷化能力。

2）數(shù)據(jù)開發(fā)的敏捷性。

數(shù)據(jù)開發(fā)的目的是使用各種工具，包括數(shù)據(jù)建模、數(shù)據(jù)探索、數(shù)據(jù)查詢、機(jī)器學(xué)習(xí)、數(shù)據(jù)可視化等，來完成數(shù)據(jù)分析。要實(shí)現(xiàn)敏捷的數(shù)據(jù)開發(fā)，通常需要企業(yè)構(gòu)建一站式的數(shù)據(jù)集成和開發(fā)平臺(tái)，提供大數(shù)據(jù)的匯聚、加工、服務(wù)、資產(chǎn)管理等全流程能力，并降低其使用門檻。

3）數(shù)據(jù)分析和應(yīng)用的敏捷性。

實(shí)現(xiàn)數(shù)據(jù)分析和應(yīng)用的敏捷性數(shù)據(jù)平臺(tái)在底層數(shù)據(jù)管理和數(shù)據(jù)分析工具上有相應(yīng)的功能設(shè)計(jì)，比如，通過建立標(biāo)簽體系方便用戶將數(shù)據(jù)快速應(yīng)用于業(yè)務(wù)，通過提供可視化的分析工具靈活地滿足用戶的分析需求，通過AI增強(qiáng)能力自動(dòng)識(shí)別有價(jià)值的數(shù)據(jù)并推送給用戶等。

（4）實(shí)時(shí)數(shù)據(jù)處理與分析

為了應(yīng)對(duì)企業(yè)越來愈多的實(shí)時(shí)性數(shù)據(jù)分析需求，數(shù)據(jù)平臺(tái)需要在以下層面具備實(shí)時(shí)性的數(shù)據(jù)處理能力：

1）實(shí)時(shí)的數(shù)據(jù)接入和數(shù)據(jù)采集。

應(yīng)用Kafka、RocketMQ等工具實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)采集。同時(shí)，對(duì)于核心業(yè)務(wù)系統(tǒng)數(shù)據(jù)，進(jìn)行被動(dòng)采集；對(duì)于用戶訪問行為習(xí)慣等數(shù)據(jù)，則會(huì)進(jìn)行主動(dòng)采集。

2）實(shí)時(shí)的數(shù)據(jù)計(jì)算與查詢。

基于Flink等實(shí)時(shí)計(jì)算引擎，以及指標(biāo)計(jì)算、規(guī)則計(jì)算、模型計(jì)算等多種計(jì)算處理能力，構(gòu)建數(shù)據(jù)平臺(tái)的實(shí)時(shí)計(jì)算和查詢能力。

3）實(shí)時(shí)的數(shù)據(jù)分發(fā)。

通過Kafka實(shí)現(xiàn)靈活的數(shù)據(jù)分發(fā)，以承載不同用戶的實(shí)時(shí)業(yè)務(wù)。

4）流批一體。

由于企業(yè)在業(yè)務(wù)分析中使用的數(shù)據(jù)范圍越來愈多地橫跨歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)，需要數(shù)據(jù)平臺(tái)具備流批一體的能力，用一套邏輯描述流與批業(yè)務(wù)，用一個(gè)引擎也能處理實(shí)時(shí)和離線數(shù)據(jù)。

3

新一代數(shù)據(jù)智能平臺(tái)的架構(gòu)

結(jié)合前文所述的當(dāng)前企業(yè)在數(shù)據(jù)管理和應(yīng)用中面臨的挑戰(zhàn)，以及對(duì)一些領(lǐng)先企業(yè)搭建的數(shù)據(jù)智能平臺(tái)的架構(gòu)進(jìn)行歸納總結(jié)，可以看到，新一代的數(shù)據(jù)智能平臺(tái)的架構(gòu)至少在五個(gè)層面具有區(qū)別于傳統(tǒng)數(shù)據(jù)平臺(tái)架構(gòu)的特征。

三、數(shù)據(jù)智能平臺(tái)的建設(shè)方法論

類似傳統(tǒng)數(shù)據(jù)平臺(tái)的構(gòu)建，數(shù)據(jù)智能平臺(tái)的構(gòu)建是一個(gè)需要從全局進(jìn)行規(guī)劃和建設(shè)，并在后續(xù)運(yùn)行中能夠持續(xù)迭代的系統(tǒng)性工程，因此需要一套科學(xué)和完備的方法論指導(dǎo)這一過程。通過對(duì)多家領(lǐng)先企業(yè)的數(shù)據(jù)智能平臺(tái)實(shí)踐案例進(jìn)行調(diào)研，總結(jié)了數(shù)據(jù)智能平臺(tái)建設(shè)過程中比較共性的最佳實(shí)踐方法論，涉及的核心環(huán)節(jié)主要包括頂層戰(zhàn)略規(guī)劃、應(yīng)用場(chǎng)景規(guī)劃、基礎(chǔ)架構(gòu)設(shè)計(jì)、數(shù)據(jù)規(guī)范與數(shù)據(jù)架構(gòu)設(shè)計(jì)、組織與人員規(guī)劃等方面。他們構(gòu)成的數(shù)據(jù)智能平臺(tái)建設(shè)的主要流程

1

頂層戰(zhàn)略規(guī)劃

數(shù)據(jù)智能平臺(tái)是支撐企業(yè)數(shù)字化轉(zhuǎn)型的新一代數(shù)據(jù)基礎(chǔ)設(shè)施，是企業(yè)各部門各業(yè)務(wù)線共同的數(shù)據(jù)平臺(tái)和數(shù)據(jù)服務(wù)體系，因此，數(shù)據(jù)智能平臺(tái)的建設(shè)的核心目的是服務(wù)于企業(yè)的整體戰(zhàn)略目標(biāo)和業(yè)務(wù)目標(biāo)。同時(shí)，數(shù)據(jù)智能平臺(tái)的建設(shè)不僅僅涉及技術(shù)架構(gòu)，還會(huì)涉及企業(yè)的業(yè)務(wù)模式和組織架構(gòu)，因此企業(yè)應(yīng)當(dāng)以頂層戰(zhàn)略為起點(diǎn)，根據(jù)業(yè)務(wù)目標(biāo)規(guī)劃數(shù)據(jù)智能平臺(tái)的的建設(shè)藍(lán)圖與路徑。此外，傳統(tǒng)企業(yè)的部門墻問題明顯，要實(shí)現(xiàn)各部門間的溝通協(xié)作，共建數(shù)據(jù)智能平臺(tái)，需要企業(yè)決策層在組織架構(gòu)和資源方面給予統(tǒng)一的調(diào)配和支持。

2

應(yīng)用場(chǎng)景規(guī)劃

數(shù)據(jù)智能平臺(tái)的價(jià)值最終需要通過業(yè)務(wù)場(chǎng)景中的數(shù)據(jù)應(yīng)用來體現(xiàn)，因此，平臺(tái)建設(shè)必須應(yīng)用場(chǎng)景規(guī)劃先行，數(shù)據(jù)智能平臺(tái)應(yīng)用場(chǎng)景規(guī)劃需要考慮以下關(guān)鍵因素：評(píng)估企業(yè)業(yè)務(wù)需求和數(shù)據(jù)現(xiàn)狀。從具體的業(yè)務(wù)需求場(chǎng)景厘清相關(guān)的業(yè)務(wù)線、相關(guān)崗位和業(yè)務(wù)流程，梳理其中的業(yè)務(wù)需求。同時(shí)，對(duì)企業(yè)的數(shù)據(jù)資產(chǎn)進(jìn)行評(píng)估，厘清企業(yè)有哪些數(shù)據(jù)、需要補(bǔ)充哪些數(shù)據(jù)等。明確場(chǎng)景實(shí)現(xiàn)優(yōu)先級(jí)。企業(yè)需要基于企業(yè)戰(zhàn)略與業(yè)務(wù)目標(biāo)，可實(shí)現(xiàn)的業(yè)務(wù)價(jià)值、數(shù)據(jù)應(yīng)用的實(shí)現(xiàn)成本、數(shù)據(jù)應(yīng)用的可行性等方面進(jìn)行評(píng)估，確定哪些優(yōu)先級(jí)和緊急度比較高的場(chǎng)景可以應(yīng)用數(shù)據(jù)平臺(tái)解決業(yè)務(wù)問題。調(diào)研和參考外部案例。企業(yè)在建設(shè)數(shù)據(jù)平臺(tái)前應(yīng)當(dāng)盡可能多地進(jìn)行相關(guān)調(diào)研，并參考同行實(shí)踐案例，總結(jié)相關(guān)經(jīng)驗(yàn)。同時(shí)，可以借助有成熟經(jīng)驗(yàn)的數(shù)據(jù)平臺(tái)建設(shè)廠商幫助企業(yè)解決相關(guān)問題。

3

基礎(chǔ)架構(gòu)設(shè)計(jì)

好的基礎(chǔ)架構(gòu)設(shè)計(jì)能夠讓項(xiàng)目快速落地，并支持在現(xiàn)有系統(tǒng)上快速開發(fā)新功能、引入新數(shù)據(jù)，而一旦選擇某個(gè)技術(shù)架構(gòu)并開始實(shí)施，后面出現(xiàn)問題再來修改的成本很高。構(gòu)建新一代的數(shù)據(jù)智能平臺(tái)需要在基礎(chǔ)架構(gòu)設(shè)計(jì)上考慮以下要點(diǎn)：1）引入云原生架構(gòu)，以便快速開發(fā)、測(cè)試、上線和迭代數(shù)據(jù)應(yīng)用，同時(shí)滿足在工具集成、系統(tǒng)運(yùn)維、以及存儲(chǔ)和計(jì)算資源上的各種敏捷性要求。2）應(yīng)用多種數(shù)據(jù)處理引擎應(yīng)對(duì)多樣化的數(shù)據(jù)分析場(chǎng)景需求，重點(diǎn)是為平臺(tái)構(gòu)建智能化和實(shí)時(shí)化的數(shù)據(jù)處理能力。3）對(duì)數(shù)據(jù)和數(shù)據(jù)應(yīng)用資產(chǎn)進(jìn)行統(tǒng)一的管理，避免數(shù)據(jù)資產(chǎn)不明確、使用復(fù)雜、效益低下等問題，方便數(shù)據(jù)資產(chǎn)的使用、共享和復(fù)用。

4

數(shù)據(jù)規(guī)范與數(shù)據(jù)架構(gòu)設(shè)計(jì)

為了保證用戶能夠在數(shù)據(jù)平臺(tái)中快速找到自己所需的數(shù)據(jù)，企業(yè)需要對(duì)數(shù)據(jù)架構(gòu)，即數(shù)據(jù)的組織方式，以及數(shù)據(jù)規(guī)范，即數(shù)據(jù)平臺(tái)中輸入和輸出的數(shù)據(jù)符合規(guī)范，進(jìn)行合理地設(shè)計(jì)。1）企業(yè)需要根據(jù)業(yè)務(wù)目標(biāo)及業(yè)務(wù)流程設(shè)計(jì)平臺(tái)的數(shù)據(jù)架構(gòu)，包括平臺(tái)提供的明細(xì)數(shù)據(jù)、匯總數(shù)據(jù)、數(shù)據(jù)分析結(jié)果、數(shù)據(jù)服務(wù)等。2）對(duì)數(shù)據(jù)平臺(tái)的輸入數(shù)據(jù)和輸出數(shù)據(jù)進(jìn)行統(tǒng)一規(guī)范，如在所有業(yè)務(wù)系統(tǒng)中使用統(tǒng)一的全局ID，用原子指標(biāo)、統(tǒng)計(jì)顆粒度、業(yè)務(wù)限定等維度來派生指標(biāo)名稱，構(gòu)建指標(biāo)體系。

5

組織與人員規(guī)劃

數(shù)據(jù)智能平臺(tái)的能力與業(yè)務(wù)高度相關(guān)，因?yàn)槠脚_(tái)的搭建需要IT部門、數(shù)據(jù)部門、以及各業(yè)務(wù)部門溝通協(xié)調(diào)，對(duì)人員進(jìn)行統(tǒng)籌安排。根據(jù)企業(yè)數(shù)據(jù)能力現(xiàn)狀，在集中式和去中心化兩種人員模式中選其一

1）集中式模式：組建一個(gè)專門的數(shù)據(jù)智能平臺(tái)團(tuán)隊(duì)，由該團(tuán)隊(duì)負(fù)責(zé)所有數(shù)據(jù)能力的規(guī)劃和開發(fā)。該模式好處在于數(shù)據(jù)能力的規(guī)劃和實(shí)現(xiàn)比較直接，能夠快速落地，難點(diǎn)在于需要團(tuán)隊(duì)理解業(yè)務(wù)。該模式適合公司業(yè)務(wù)體系相對(duì)簡(jiǎn)單，且軟件在企業(yè)內(nèi)部只是輔助工具的傳統(tǒng)型企業(yè)。

2）去中心化模式：由傳統(tǒng)的數(shù)據(jù)平臺(tái)團(tuán)隊(duì)搭建底層的平臺(tái)，各業(yè)務(wù)部門在平臺(tái)上開發(fā)和使用所需的數(shù)據(jù)應(yīng)用。該模式好處在于業(yè)務(wù)部門對(duì)業(yè)務(wù)最理解，能夠開發(fā)出最滿足業(yè)務(wù)需求的數(shù)據(jù)應(yīng)用，且后續(xù)迭代也更方便，難點(diǎn)在于需要處理好部門分工和協(xié)調(diào)的問題。該模式適合業(yè)務(wù)線龐雜，業(yè)務(wù)定制化需求較多的大型企業(yè)。