當今世界正處于從工業經濟向數字經濟轉型的大變革時代,數字化轉型成為世界范圍內的發展趨勢。幾年來工信部、國資委、國家發改委等部門陸續發布“中小企業數字化賦能專項行動方案”、“關于推進上云用數賦智行動培育新經濟發展實施方案”、“關于加快推進國有企業數字化轉型工作的通知”等相關文件,強調深化數據治理,實現數智賦能,加快推進企業數字化轉型進程,實現高質量、可持續發展。
企業在推動數字化轉型的進程中,對數據的“管”“看”“用”還存在諸多問題,影響著企業數字化轉型的步伐。
(1)數據管理分散、存在數據孤島現象
目前數據主要存在于各個業務系統中進行管理,沒有實現集中管理,無法對數據進行統一數據治理,無法進行有效的數據流轉和共享。
(2)數據標準不統一
在各個業務系統中數據的枚舉項、元數據等標準不統一,在多個業務系統中存在不一致的情況,導致數據共享困難。
(3)數據服務不統一
沒有構建統一的對外數據服務接口,職能部門需要數據進行分析應用時,需要從各個業務系統中提取、匯總、整理,耗費大量的人力物力。
(4)數據資產管理不統一
企業沒有構建統一的企業級數據資產平臺,無法有效支撐外部應用,同時無法地數據進行有效的跟蹤、追溯。
(5)數據開發能力分散
對數據的可視化分析及應用,主要依靠各個業務系統自帶的報表功能,制作簡單的分析報表,針對跨業務、復雜分析的實現,無法有效支撐。
通過構建數據中臺,全面提升企業對數據資產的管理和應用水平,真正發揮數據的價值,助力企業推進數字化轉型。
(1)實現數據的集成與匯聚,消除數據孤島現象
將企業各個業務系統中的數據統一匯聚,實現對數據的統一治理,有效消除企業數據孤島現象,為數據的流轉、共享、分析應用打下基礎。
(2)實現數據標準統一
通過數據標準體系建設方法論+數據指標體系,統一數據指標口徑,消除數據二義性。
(3)實現統一數據資產管理
提供企業級數據資產管理平臺,并通過數據地圖與數據血緣實現360°數據全鏈路追蹤。
(4)實現統一的數據服務
提供統一對外數據服務接口,實現所有數據需求,統一輸出。
(5)實現統一數據開發平臺
提供可視化、拖拽式自助開發與分析平臺,統一數據開發流程與成果發布管理等。
通過數據中臺的搭建將分散在各個業務系統中的數據進行集成與匯聚,實現企業全場景數據的集中管理、治理及分析應用,為企業在智能應用、數字化運營、智能制造、工程優化及智能服務等方面提供數據支撐。
數據中臺主要功能包括數據規劃、數倉建設、數據治理、數據服務、數據分析及大數據基礎平臺六大模塊。
(1)數據規劃
數據規劃主要以企業業務架構和應用架構為輸入,規劃設計企業數據架構,主要內容包括數據主題域和主題劃分,數據實體識別和企業級數據模型設計,數據流向梳理和數據分布地圖繪制。包括數據現狀普查成果、治理組織架構規劃、數據管理規范文檔及標準文檔、在線數據管理成熟度評估;方便資源的共享、檢索、查看。
(2)數倉建設
數倉建設的核心是數倉分層設計、模型設計、數據采集與加工。在底層ODS層,獲取業務系統數據,對數據清洗加工;在DWD層基于業務需求構建業務主題明細,譬如構建生產主題;在DWS層對數據再加工融合,可以按照時間或部門做數據輕度匯總;在DM層進行數據高度匯總,實現DM分析數據庫,實現按照業務維度的匯總分析。
(3)數據治理
通過數據標準管理、數據質量管理及數據安全管理等構建完整的數據治理體系。
數據標準,包括枚舉項標準和數據元標準,以及標準文件管理,同時對數據標準與實際模型對象做關聯,執行貫標評估檢查,輸出評估檢查報告,指導進行數據標準檢查和治理,提升數據標準一致性和質量。
數據質量管理的核心是基于企業的數據質量問題,譬如完整性、唯一性、準確性、一致性等,制定質量規則,然后從兩個維度進行質量管理,一是質量控制前置,針對數據錄入前、導入前、接入前,基于規則,讓不符合規則的數據不進入平臺;二是對已有數據評估,生成臟數據明細,進行自動清洗處理,同時生成質量評估報告,對整個數據做異常預警和質量情況統計。
數據安全管理核心是對系統已經管理的元數據、數據、文件,進行敏感發現、密級管控、數據脫敏、數據加密、密級應用,以及整個安全監控;支持三員管理,按照系統管理員、安全審計員、安全管理員進行三員權限隔離和數據安全審計;還有數據權限管理體系,對庫、分類、表、列、行等全方位數據權限管控。
(4)數據服務
數據服務一方面是將數據中心采集加工和治理后的企業數據匯總成數據資產目錄或標簽市場,支持用戶去使用數據或對數據交換,數據資產目錄的形成從兩個方面生成,一是基于實際的業務需求,譬如主題的定義、資源的關聯,人工自定義生成數據資產目錄,二是根據數據分層和數據標簽,系統自動生成數據資產目錄,數據資產目錄功能包括資產檢索、數據查看、數據結構查看等等。數據資產目錄改變企業數據沉積在數據庫底層不可見、難管理、難獲取、難理解、難使用的現狀,激發用戶發掘數據價值的積極性和效率。
另一方面是數據交換服務,它的核心是基于業務流轉需求和數據分析應用需求,對數據中心數據進行服務封裝和授權,整個數據服務過程包括訂閱申請、訂閱審批、服務封裝授權、服務發布、服務監控,對外提供統一服務接口,支撐業務系統或BI可視化調用,獲取相關數據,實現數據的業務流轉或數據的分析應用。
(5)數據分析
數據分析主要為企業實現數據可視化分析,將數據統計分析的結果以看板的方式進行展示,為企業各級用戶提供決策支撐、管理服務等。主要包括BI分析和AI分析。
BI分析支持數據關聯、追加、合并、增減屬性列,對數據的內容進行分組、分段、過濾等方式進行數據準備;通過完善的圖形界面與簡單的拖拽,實現“所見即所得”的設計理念;內置包括常規圖形、高維圖形、地圖、行業圖形等超過40種圖表組件以及自定義圖形組件、報表工具等支撐BI分析看板設計;
AI分析支持基于業務場景的計算與分析、結合靈動的視覺交互設計、簡單的建模以及豐富的AI分析算法等支撐用戶進行深度數據挖掘分析與智能化應用。
(6)大數據基礎平臺
通過大數據技術的應用提供海量數據存儲能力、高性能計算能力和數據處理能力等,為企業數據存儲、計算、分析、應用等提供數據存儲和算力支撐。并支持集群化部署應用