數(shù)據(jù)倉庫、數(shù)據(jù)湖...智慧水務(wù)如何玩轉(zhuǎn)大數(shù)據(jù)？
大數(shù)據(jù)技術(shù)日益成熟，在各行業(yè)發(fā)揮了巨大的作用，與水務(wù)行業(yè)的深度融合亦是智慧水務(wù)創(chuàng)新發(fā)展的趨勢。智慧水務(wù)大數(shù)據(jù)分析標準以大數(shù)據(jù)構(gòu)建和分析標準為主要內(nèi)容進行研究，提出智慧水務(wù)大數(shù)據(jù)三層架構(gòu)，初步構(gòu)建分析標準體系，為水務(wù)企業(yè)智慧水務(wù)大數(shù)據(jù)建設(shè)和分析應(yīng)用提供參考資料。
0 引言
隨著智慧水務(wù)的發(fā)展和水務(wù)數(shù)據(jù)的指數(shù)級別增長，水務(wù)企業(yè)面臨著嚴峻的數(shù)據(jù)管理問題。將大數(shù)據(jù)技術(shù)及其應(yīng)用分析引入到水務(wù)行業(yè)，更好地挖掘和使用這些數(shù)據(jù)，將會釋放出更多的隱藏價值。智慧水務(wù)大數(shù)據(jù)分析通過集成和優(yōu)化多個業(yè)務(wù)部門的協(xié)同應(yīng)用，對水務(wù)企業(yè)整體的綜合績效和關(guān)鍵事件進行分析和統(tǒng)一管理，從信息集成平臺接受并處理來自多個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，連續(xù)不斷地監(jiān)控重大事件、預(yù)測趨勢并做出相應(yīng)的輸出，對生產(chǎn)運行進行量化考核，從而實現(xiàn)決策的科學化，體現(xiàn)智慧水務(wù)建設(shè)對水務(wù)企業(yè)運營數(shù)據(jù)的深層次挖掘和應(yīng)用。
智慧水務(wù)大數(shù)據(jù)平臺能夠提高信息系統(tǒng)交互速度和質(zhì)量，及時、準確、全面地掌握企業(yè)的整體狀況。但是如何應(yīng)用大數(shù)據(jù)技術(shù)，如何構(gòu)建大數(shù)據(jù)架構(gòu)，如何進行大數(shù)據(jù)分析還缺乏指導規(guī)范，需要建設(shè)相關(guān)的平臺構(gòu)建標準和分析指標體系。因此，研究智慧水務(wù)大數(shù)據(jù)構(gòu)建和分析標準能夠有力推動智慧水務(wù)建設(shè)和發(fā)展，能夠更好地幫助水務(wù)企業(yè)開展具有針對性的分析、研究工作，有效地制定相關(guān)發(fā)展措施和建立相關(guān)考核體系，幫助水務(wù)企業(yè)制定科學的發(fā)展戰(zhàn)略。
1 智慧水務(wù)大數(shù)據(jù)建設(shè)目標
1.1 實現(xiàn)水務(wù)全要素信息采集和存儲
數(shù)據(jù)采集、存儲、整合是智慧水務(wù)大數(shù)據(jù)分析的前提和基礎(chǔ)。運用大數(shù)據(jù)技術(shù)，幫助水務(wù)企業(yè)實現(xiàn)從原水到水廠、從管網(wǎng)到用戶等環(huán)節(jié)全方位、全要素的信息采集，消除信息孤島實現(xiàn)系統(tǒng)的互聯(lián)互通，實現(xiàn)海量數(shù)據(jù)的傳輸與存儲。構(gòu)建智慧水務(wù)數(shù)據(jù)倉庫和數(shù)據(jù)湖，實現(xiàn)數(shù)據(jù)資源標準化、數(shù)據(jù)來源唯一化和信息流程簡潔化，對數(shù)據(jù)進行集中管理，實現(xiàn)大數(shù)據(jù)整合應(yīng)用。
1.2 打造水務(wù)大數(shù)據(jù)資源標準和規(guī)范
智慧水務(wù)大數(shù)據(jù)的分析應(yīng)用，數(shù)據(jù)資源的標準化建設(shè)是重中之重，參考現(xiàn)有大數(shù)據(jù)的國家標準和行業(yè)規(guī)范，結(jié)合智慧水務(wù)對大數(shù)據(jù)標準化需求，提出了大數(shù)據(jù)標準體系框架（見圖1），具體的標準規(guī)范由水務(wù)企業(yè)按需梳理和建設(shè)。
圖1 智慧水務(wù)大數(shù)據(jù)標準體系
智慧水務(wù)大數(shù)據(jù)標準體系由7個類別的標準組成，分別為基礎(chǔ)標準、數(shù)據(jù)標準、技術(shù)標準、平臺標準、應(yīng)用標準、安全標準和管理標準。基礎(chǔ)標準：為整個標準體系提供包括總則、術(shù)語、參考架構(gòu)和通用要求等基礎(chǔ)性標準。
數(shù)據(jù)標準：為數(shù)據(jù)資源相關(guān)要素進行規(guī)范，包括數(shù)據(jù)資源規(guī)范和編碼分類標準。
技術(shù)標準：為大數(shù)據(jù)相關(guān)技術(shù)應(yīng)用進行規(guī)范，包括描述評估、處理分析和互操作等技術(shù)應(yīng)用標準。
平臺標準：為大數(shù)據(jù)平臺應(yīng)用、工具產(chǎn)品進行規(guī)范，指導建設(shè)數(shù)據(jù)倉庫、數(shù)據(jù)集市、數(shù)據(jù)湖等涉及技術(shù)、功能和接口要求，包括數(shù)據(jù)平臺和工具平臺等標準。
應(yīng)用標準：為大數(shù)據(jù)在水務(wù)行業(yè)所能提供的應(yīng)用和服務(wù)制定的標準，包括數(shù)據(jù)交換共享、數(shù)據(jù)訪問和數(shù)據(jù)應(yīng)用等要求。
安全標準：為保障大數(shù)據(jù)安全進行規(guī)范，包括通用安全和行業(yè)安全等要求。
管理標準：為大數(shù)據(jù)管理制定的支撐體系，貫穿于大數(shù)據(jù)整個生命周期，包括數(shù)據(jù)運維、數(shù)據(jù)治理和數(shù)據(jù)評估等要求。
1.3 構(gòu)建水務(wù)大數(shù)據(jù)分析平臺和體系
利用大數(shù)據(jù)技術(shù)，構(gòu)建水務(wù)大數(shù)據(jù)分析平臺并對水務(wù)運行管理狀態(tài)進行梳理，建立一套可量化、標準化的分析指標體系，對城市水務(wù)情況進行全面統(tǒng)計與深度分析，為數(shù)據(jù)消費者提供大數(shù)據(jù)服務(wù)。利用知識圖譜和深度學習技術(shù)，建立各個業(yè)務(wù)條線的分析算法模型，挖掘水務(wù)行業(yè)海量數(shù)據(jù)中的潛在價值，提升水務(wù)企業(yè)科學決策能力。
2 智慧水務(wù)大數(shù)據(jù)構(gòu)建標準
智慧水務(wù)大數(shù)據(jù)構(gòu)建首先是明確業(yè)務(wù)場景和應(yīng)用需求，從而決定數(shù)據(jù)源和數(shù)據(jù)采集的范圍，并按照數(shù)據(jù)資源的標準和規(guī)范進行數(shù)據(jù)整合；其次是確定大數(shù)據(jù)平臺要具備的基本的功能，以此選擇大數(shù)據(jù)處理工具和技術(shù)框架，并設(shè)計大數(shù)據(jù)中心的數(shù)據(jù)處理流程；最后是構(gòu)建頂層的數(shù)據(jù)決策平臺，選擇數(shù)據(jù)挖掘工具并建立大數(shù)據(jù)分析模型，提供各類大數(shù)據(jù)分析應(yīng)用。
因此，智慧水務(wù)大數(shù)據(jù)構(gòu)建可分為數(shù)據(jù)整合、數(shù)據(jù)治理和數(shù)據(jù)應(yīng)用三大步驟，對應(yīng)的技術(shù)架構(gòu)自下而上分為三個部分（見圖2），分別是數(shù)據(jù)層、大數(shù)據(jù)中心和數(shù)據(jù)決策層。
圖2 智慧水務(wù)大數(shù)據(jù)三層架構(gòu)
�。�1）數(shù)據(jù)層。針對不同業(yè)務(wù)和應(yīng)用系統(tǒng)進行分析，制定數(shù)據(jù)采集范圍與目標，收集各系統(tǒng)產(chǎn)生的全要素信息，將各種結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進行整合，為智慧水務(wù)大數(shù)據(jù)的分析提供支撐。水務(wù)系統(tǒng)的數(shù)據(jù)通過數(shù)據(jù)層匯至大數(shù)據(jù)中心需經(jīng)歷數(shù)據(jù)抽取、過濾、清洗、轉(zhuǎn)換和裝載等數(shù)據(jù)準備過程。數(shù)據(jù)抽取：通過系統(tǒng)接口和ETL工具進行數(shù)據(jù)集成，從智慧水務(wù)體系各應(yīng)用系統(tǒng)中抽取大數(shù)據(jù)中心需要的數(shù)據(jù)。
數(shù)據(jù)過濾：按照相應(yīng)規(guī)范和需求進行數(shù)據(jù)篩選，快速高效地過濾出有價值的信息。
數(shù)據(jù)清洗：為保持數(shù)據(jù)一致性，需對數(shù)據(jù)無效值、缺失值、重復數(shù)據(jù)進行處理和加工。
數(shù)據(jù)轉(zhuǎn)換：將數(shù)據(jù)按照業(yè)務(wù)需求，轉(zhuǎn)換成大數(shù)據(jù)中心要求的形式。
數(shù)據(jù)裝載：將經(jīng)過清洗和轉(zhuǎn)換之后的數(shù)據(jù)加載到大數(shù)據(jù)中心。
（2）大數(shù)據(jù)中心。智慧水務(wù)大數(shù)據(jù)中心匯聚了水務(wù)系統(tǒng)全要素信息數(shù)據(jù)，按照數(shù)據(jù)資源集合形式可分為兩類：一類是數(shù)據(jù)倉庫和數(shù)據(jù)集市，主要存儲大數(shù)據(jù)技術(shù)治理后結(jié)構(gòu)化的數(shù)據(jù)，數(shù)據(jù)倉庫主要包括主數(shù)據(jù)、元數(shù)據(jù)、參考數(shù)據(jù)和一般數(shù)據(jù)，數(shù)據(jù)集市是針對特定業(yè)務(wù)和場景需求進一步構(gòu)造的數(shù)據(jù)倉庫子集，大數(shù)據(jù)中心中會有多個智慧水務(wù)業(yè)務(wù)條線的數(shù)據(jù)集市；另一類是數(shù)據(jù)湖，能夠存儲結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)，相較于數(shù)據(jù)倉庫存儲了更多的原始數(shù)據(jù)，數(shù)據(jù)不需要進行清理和轉(zhuǎn)換，能夠隨時取用信息進行大數(shù)據(jù)分析，具有廣泛數(shù)據(jù)發(fā)現(xiàn)和多維交叉分析優(yōu)勢。廣義上數(shù)據(jù)湖可以包含數(shù)據(jù)倉庫，但在大數(shù)據(jù)中心架構(gòu)中，兩者是互補互促的大數(shù)據(jù)應(yīng)用格局。
（3）數(shù)據(jù)決策層。智慧水務(wù)大數(shù)據(jù)分析常用方法有可視化分析、預(yù)測性分析、數(shù)據(jù)挖掘算法和語義引擎等，通過可視化數(shù)據(jù)分析平臺來直觀展示海量數(shù)據(jù)關(guān)聯(lián)，通過建立水務(wù)專業(yè)知識模型來預(yù)測未來狀態(tài)和風險，通過信息集成來提供決策參考信息，通過為已有數(shù)據(jù)添加語義來獲取非結(jié)構(gòu)化數(shù)據(jù)的信息價值，最終為水務(wù)企業(yè)提供預(yù)警預(yù)測、風險識別、主動決策和綜合治理等分析應(yīng)用和數(shù)據(jù)服務(wù)。
3 智慧水務(wù)大數(shù)據(jù)分析標準
2020年 1月，中國城鎮(zhèn)供水排水協(xié)會發(fā)布的《中國城鎮(zhèn)水務(wù) 2035年行業(yè)發(fā)展規(guī)劃》中指出“要明確智慧水務(wù)的概念、內(nèi)涵及指標體系”，本文以供水行業(yè)為例，結(jié)合國內(nèi)供水行業(yè)的特點和大數(shù)據(jù)應(yīng)用場景因素，將供水行業(yè)大數(shù)據(jù)分析指標分為生產(chǎn)、經(jīng)營、管理和服務(wù)型四類，以構(gòu)建供水大數(shù)據(jù)分析的標準體系（見圖3）。
圖3 供水大數(shù)據(jù)分析指標體系
（1）生產(chǎn)型指標。城市供水生產(chǎn)的可靠性、持續(xù)性和高效運行關(guān)乎城市供水安全，從水源、水廠、管網(wǎng)、管網(wǎng)中途泵站、小區(qū)二次供水再到用戶，生產(chǎn)鏈條環(huán)節(jié)上的大數(shù)據(jù)分析指標，反映了供水企業(yè)生產(chǎn)效率的高低、管理計劃執(zhí)行等情況，有助于發(fā)現(xiàn)問題并采取改進措施（見表1）。 表1 生產(chǎn)型指標
表2 經(jīng)營型指標
表3 管理型指標
表4 服務(wù)型指標
智慧水務(wù)大數(shù)據(jù)分析標準研究貫徹了國家大數(shù)據(jù)發(fā)展戰(zhàn)略，能夠幫助水務(wù)企業(yè)進一步推進數(shù)據(jù)資源整合共享，促進智慧水務(wù)大數(shù)據(jù)發(fā)展與創(chuàng)新應(yīng)用。本文討論了智慧水務(wù)大數(shù)據(jù)分析的初步構(gòu)建標準和指標體系，兼顧了數(shù)據(jù)倉庫和數(shù)據(jù)湖并存的情況，為智慧水務(wù)大數(shù)據(jù)融合創(chuàng)新建立了一定的基礎(chǔ)。
未來智慧水務(wù)大數(shù)據(jù)分析應(yīng)用需要緊密結(jié)合水務(wù)行業(yè)的研究熱點，通過大數(shù)據(jù)技術(shù)解決實際問題，如生產(chǎn)運行節(jié)能降耗、產(chǎn)銷差漏損管控、客戶主動服務(wù)等，水務(wù)企業(yè)還需進一步推進數(shù)據(jù)整合和利用，創(chuàng)新大數(shù)據(jù)應(yīng)用，提升大數(shù)據(jù)價值，持續(xù)提高基于大數(shù)據(jù)分析的管理能力和服務(wù)水平。
微信對原文有修改。原文標題：智慧水務(wù)大數(shù)據(jù)分析標準研究和展望；作者：謝晉、蔣懷德、張曄明、羅賢偉；作者單位：上海市政工程設(shè)計研究總院（集團）有限公司�？窃凇督o水排水》2021年增刊S1期。
來源： 給水排水
