青年 · 你說



蘇州燃氣集團智慧燃氣大數(shù)據(jù)平臺建設(shè)與應用研發(fā)
+ 查看更多
蘇州燃氣集團智慧燃氣大數(shù)據(jù)平臺建設(shè)與應用研發(fā)
+ 查看更多
一、概述
蘇州燃氣集團搭建大數(shù)據(jù)基礎(chǔ)平臺的目的是為了打造一個面向整個燃氣行業(yè)的服務平臺,平臺能夠存儲涵蓋公司的安全管理、營銷、用戶服務等各類數(shù)據(jù),并具備數(shù)據(jù)接入導入、實時數(shù)據(jù)處理、數(shù)據(jù)挖掘和可視化展示等功能,能夠為蘇州燃氣集團提供能耗分析、安全管控、決策控制等服務內(nèi)容。
二、平臺建設(shè)
1.實施步驟
ApacheHadoop是針對大規(guī)模分布式數(shù)據(jù)而開發(fā)的軟件框架,目前已經(jīng)成為企業(yè)管理大數(shù)據(jù)的基礎(chǔ)支撐技術(shù),是解決企業(yè)數(shù)據(jù)中心大數(shù)據(jù)存儲、大規(guī)模數(shù)據(jù)計算、快速數(shù)據(jù)分析的優(yōu)秀基礎(chǔ)數(shù)據(jù)平臺。
基于Hadoop體系,本次建設(shè)的大數(shù)據(jù)基礎(chǔ)平臺主要實現(xiàn)數(shù)據(jù)采集、大數(shù)據(jù)平臺、應用功能的搭建。
2.總體架構(gòu)
本次建設(shè)服務器系統(tǒng)采用Ubuntu16.04,大數(shù)據(jù)平臺搭建使用CDH(Cloudera’sDistributionincludingApacheHadoop)產(chǎn)品5.15.1版本,建設(shè)以Hadoop體系為核心,搭建以HDFS為基礎(chǔ)的分布式文件存儲系統(tǒng),具備動態(tài)擴展和數(shù)據(jù)冗余備份特性。
3.主要成效
本次搭建的數(shù)據(jù)平臺便于以后更便捷地使用燃氣集團各個獨立系統(tǒng)中的數(shù)據(jù)而又不影響現(xiàn)有系統(tǒng)的運行,可以統(tǒng)一規(guī)劃管理這些數(shù)據(jù),基本可以滿足以下功能:
(1)數(shù)據(jù)接入功能;(2)數(shù)據(jù)管理功能;(3)數(shù)據(jù)輸出功能。
三、數(shù)據(jù)應用
1.用戶分析
燃氣集團需要根據(jù)客戶的行為偏好、行為特征,向不同燃氣客戶群體提供差異化服務。同時,燃氣集團可以通過統(tǒng)計分析不同區(qū)域的客戶群體的燃氣信息來挖掘出區(qū)域性的偏好,可以大大提升企業(yè)對客戶需求的洞察力,可以為營銷和服務的策劃、執(zhí)行、評估、優(yōu)化提供寶貴的指引,從而提高工作的主動性、精準度。
2.負荷預測
為保證用戶的安全平穩(wěn)用氣,必須要掌握天然氣負荷的變化規(guī)律,科學準確的負荷預測有利于保證管網(wǎng)的優(yōu)化運行,提高管網(wǎng)投資的經(jīng)濟性和可靠性,是燃氣管網(wǎng)安全平穩(wěn)供氣的基礎(chǔ)。
該應用將影響燃氣的相關(guān)因素(如天氣、氣溫、節(jié)假日等)作為特征進行建模,使用機器學習算法(回歸分析、時間序列、人工神經(jīng)網(wǎng)絡(luò)等)建模進行燃氣負荷預測。
四、主要創(chuàng)新點
1.使用了開源的大數(shù)據(jù)平臺,資料全面,便于學習、開發(fā)與測試。本次搭建的大數(shù)據(jù)平臺安裝了ClouderaManager安裝部署管理工具,通過平臺搭建工作,逐步熟悉大數(shù)據(jù)平臺的技術(shù)特點。
2.自行研發(fā)的用戶分析和用氣負荷預測應用通過結(jié)合天氣、節(jié)日等外圍因素,通過燃氣集團積累多年的歷史數(shù)據(jù)來挖掘、發(fā)現(xiàn)用氣規(guī)律及預測未來變化趨勢,提升企業(yè)對客戶需求的洞察力,為集團決策提供指引,提高工作的精準度。
蘇州燃氣集團搭建大數(shù)據(jù)基礎(chǔ)平臺的目的是為了打造一個面向整個燃氣行業(yè)的服務平臺,平臺能夠存儲涵蓋公司的安全管理、營銷、用戶服務等各類數(shù)據(jù),并具備數(shù)據(jù)接入導入、實時數(shù)據(jù)處理、數(shù)據(jù)挖掘和可視化展示等功能,能夠為蘇州燃氣集團提供能耗分析、安全管控、決策控制等服務內(nèi)容。
二、平臺建設(shè)
1.實施步驟
ApacheHadoop是針對大規(guī)模分布式數(shù)據(jù)而開發(fā)的軟件框架,目前已經(jīng)成為企業(yè)管理大數(shù)據(jù)的基礎(chǔ)支撐技術(shù),是解決企業(yè)數(shù)據(jù)中心大數(shù)據(jù)存儲、大規(guī)模數(shù)據(jù)計算、快速數(shù)據(jù)分析的優(yōu)秀基礎(chǔ)數(shù)據(jù)平臺。
基于Hadoop體系,本次建設(shè)的大數(shù)據(jù)基礎(chǔ)平臺主要實現(xiàn)數(shù)據(jù)采集、大數(shù)據(jù)平臺、應用功能的搭建。
2.總體架構(gòu)
本次建設(shè)服務器系統(tǒng)采用Ubuntu16.04,大數(shù)據(jù)平臺搭建使用CDH(Cloudera’sDistributionincludingApacheHadoop)產(chǎn)品5.15.1版本,建設(shè)以Hadoop體系為核心,搭建以HDFS為基礎(chǔ)的分布式文件存儲系統(tǒng),具備動態(tài)擴展和數(shù)據(jù)冗余備份特性。
3.主要成效
本次搭建的數(shù)據(jù)平臺便于以后更便捷地使用燃氣集團各個獨立系統(tǒng)中的數(shù)據(jù)而又不影響現(xiàn)有系統(tǒng)的運行,可以統(tǒng)一規(guī)劃管理這些數(shù)據(jù),基本可以滿足以下功能:
(1)數(shù)據(jù)接入功能;(2)數(shù)據(jù)管理功能;(3)數(shù)據(jù)輸出功能。
三、數(shù)據(jù)應用
1.用戶分析
燃氣集團需要根據(jù)客戶的行為偏好、行為特征,向不同燃氣客戶群體提供差異化服務。同時,燃氣集團可以通過統(tǒng)計分析不同區(qū)域的客戶群體的燃氣信息來挖掘出區(qū)域性的偏好,可以大大提升企業(yè)對客戶需求的洞察力,可以為營銷和服務的策劃、執(zhí)行、評估、優(yōu)化提供寶貴的指引,從而提高工作的主動性、精準度。
2.負荷預測
為保證用戶的安全平穩(wěn)用氣,必須要掌握天然氣負荷的變化規(guī)律,科學準確的負荷預測有利于保證管網(wǎng)的優(yōu)化運行,提高管網(wǎng)投資的經(jīng)濟性和可靠性,是燃氣管網(wǎng)安全平穩(wěn)供氣的基礎(chǔ)。
該應用將影響燃氣的相關(guān)因素(如天氣、氣溫、節(jié)假日等)作為特征進行建模,使用機器學習算法(回歸分析、時間序列、人工神經(jīng)網(wǎng)絡(luò)等)建模進行燃氣負荷預測。
四、主要創(chuàng)新點
1.使用了開源的大數(shù)據(jù)平臺,資料全面,便于學習、開發(fā)與測試。本次搭建的大數(shù)據(jù)平臺安裝了ClouderaManager安裝部署管理工具,通過平臺搭建工作,逐步熟悉大數(shù)據(jù)平臺的技術(shù)特點。
2.自行研發(fā)的用戶分析和用氣負荷預測應用通過結(jié)合天氣、節(jié)日等外圍因素,通過燃氣集團積累多年的歷史數(shù)據(jù)來挖掘、發(fā)現(xiàn)用氣規(guī)律及預測未來變化趨勢,提升企業(yè)對客戶需求的洞察力,為集團決策提供指引,提高工作的精準度。