技術
首頁  >  技術  >  技術要聞

什么是理想的數據中臺架構?

2019-04-04  來源:人民郵電報社  作者:文立木

  圖1:阿里巴巴數據中臺全景圖

  圖2:理想中的數據中臺架構

從去年開始,越來越多的大數據從業者提到“數據中臺”這一概念。在信息系統建設工作中,系統可以分為前臺和后臺,而對于什么是中臺,目前業界的理解還存在不一致。那么,究竟什么是數據中臺?目前業界典型的數據中臺解決方案是怎樣的?理想中的數據中臺架構又應該具備哪些特征?

人們眼中的“中臺”

當下,人人都在談論數字化轉型,中臺有可能成為企業推進數字化轉型的有效方法之一。“中臺”早期是由美軍的作戰體系演化而來的,使用“中臺”這種作戰體系,目的就在于給予前方高效、靈活和強大的炮火支持。2015年,阿里巴巴率先提出了“中臺戰略”,以及其有名的“大中臺、小前臺”的機制。

2018年8月,阿里發布“雙中臺 ET”數字化轉型方法論,阿里的雙中臺包括數據中臺和業務中臺。在“業務中臺”模式下,前端業務部門可以像搭積木一樣調用平臺上的產品技術模塊,從而快速搭建新業務場景。“數據中臺”打破了不同業務部門之間的煙囪式IT架構,從而打通數據孤島,實現了“一切業務數據化”的目標。ET大腦是指其面向特定行業的智能化解決方案。

在阿里中臺概念的引領下,很多企業也提出了自己的“中臺戰略”。如把內部一些通用性技術平臺、支撐系統打包在一起,稱之為技術中臺;把一些大的業務服務系統,邏輯上集中起來稱之為業務中臺;或干脆把現有的數據倉庫、數據治理平臺、數據運維平臺整合稱之為數據中臺;還有一種更簡單的方式,就是把以前內部IT支撐系統的后臺直接改名,與數據相關的部分就叫數據中臺,與業務耦合度較緊密的就叫業務中臺。以上定義,各有各的道理,但有一點業界有一致的意見,就是建立中臺的目的在于:減少冗余,增加復用,快速響應用戶需求。

一般來說,數據中臺是指企業利用大數據技術,對內外部海量數據進行統一采集、計算、存儲,并使用統一的數據規范進行管理。數據規范包括數據口徑、數據模型、元數據規范、參考數據標準、主數據標準、業務規則等。

更進一步,廣義的數據中臺,還包括企業長期積累下來與業務有較強關聯性的一些技術組件,如業務標簽、算法模型、數據產品等。數據中臺的主要作用在于將企業內部所有數據統一處理形成標準化數據,挖掘出對企業最有價值的數據,構建企業數據資產庫,對內對外提供一致的、高可用大數據服務。

典型的數據中心應用

阿里是數據中臺概念的首先提出者,其案例更具分析意義。從業界廣為傳播的一幅阿里巴巴數據中臺全景圖(見圖1)可以看出,阿里的數據中臺包括計算與存儲平臺、數據資產管理、智能數據研發、統一數據中心中間件(OneService)四大模塊,最上層支撐著阿里數據、數據大屏、生意參謀等大數據應用。

阿里的統一數據中心中間件又分為萃取數據中心、公共數據中心和垂直數據中心三部分,垂直數據中心負責從阿里旗下各個業務單元采集數據,公共數據中心類似數據倉庫,將所有數據按不同主題域(電商、文娛、營銷、物流、金融等)分類管理,萃取數據中心負責按照業務需求,將各主題域數據加工處理,建立起消費者、企業、內容、商品、位置五大數據體系。阿里數據中臺旨在對內提供數據基礎建設和統一的數據服務,對外提供服務商家的統一化數據產品。

通過以上架構,可以看出,阿里提出的數據中臺模式有以下一些特點。首先是對全域數據的采集與存儲,實現了對企業中各業務類別數據的整合和集中化管理。其次是按照規范化的數據架構(數據倉庫規劃、數據模型構建、指標定義規范等)統一研發數據,實現數據口徑、數據模型標準化。再次是建立業務需求驅動的幾大數據體系,深度萃取數據價值。最后是集成數據資產管理能力,從數據的運營、應用、管理、分析、可視化五方面統一管理數據資產。

通過這樣的數據中臺架構設計,阿里實現了對下屏蔽各數據來源不同的現狀,對上提供統一的數據服務接口和標準化數據。數據中臺將阿里內部諸如淘寶、天貓、聚劃算這些數據孤島一一打通,將公共數據能力積累沉淀,對內對外提供數據共享服務,新的業務需求出現的時候,開發人員不用再從頭做起,直接基于數據中臺提供的能力,就可以快速完成新應用開發。

理想的數據中臺架構

企業建設數據中臺的最終目標是賦能業務、服務用戶。數據中臺的建設也不應該只是一個口號、一次運動或一個項目,而是需要企業不斷去投入資源、迭代更新,通過數據中臺的建設,驅動企業業務創新和發展。企業建設數據中臺,可以通過合理規劃、復用內部現有已經完善的大數據處理工具來支撐建設,充分借鑒業界數據中臺建設實踐,從核心需求出發,以某垂直業務的數據入手,打通數據采集、存儲、計算、治理、服務的工作全流程,逐步擴展到全域數據的接入、加工和管理,建設起自有的數據中臺。

關鍵詞:中臺 數據服務 SaaS 數據中心 數據加工

正规黑龙江11选5