1 建設內容
（1） 標準體系建設
實現基礎設施即服務標準體系、數據即服務標準體系、平臺即服務標準體系、軟件即服務標準體系建設，為采集、交互、治理、應用、服務提供支撐。
（2） 大數據云平臺建設
依托政府政務云機房，以“云計算+大數據”方式建設煤炭產運銷大數據平臺。以大數據技術實現海量數據的采集，完成模型設計、數據加工整合、數據存儲、大數據建模分析，以云架構方式實現硬件資源和應用服務的彈性管理，為能源局煤炭智慧管理提供支撐。
（3） 數據治理系統(tǒng)建設
完成數據建模管理、元數據管理、數據質量管理和數據監(jiān)控管理等模塊功能的建設。
（4） 產運銷全環(huán)節(jié)的數據采集
完成煤礦的基本信息、產量數據、電子地磅數據、RFID數據、合同數據、車輛數據、視頻數據進行采集。
（5） 六大應用功能建設
實現綜合看板、煤礦生產中心、煤炭承運中心、市煤銷售中心、綜合政務中心、運營支持中心等6大應用功能建設。
（6） 大數據服務平臺建設
實現以服務的方式對大數據平臺的平臺能力、數據和應用進行封裝，同時實現多租戶的平臺數據服務能力建設。
（7） 安全保障體系建設
完成安全區(qū)域邊界、安全管理中心及安全通信網絡的設計，安全區(qū)域劃分、保護，網絡安全、系統(tǒng)與應用安全及數據安全的建設。
（8） 區(qū)縣能源局煤炭產運銷管理平臺建設
區(qū)縣能源局要按照市能源局的統(tǒng)一立項、規(guī)劃、設計、招標，建設本轄區(qū)的煤炭產運銷大數據平臺。市能源局的大數據平臺為區(qū)縣煤炭產運銷大數據平臺提供支持。
（9） 連通煤炭監(jiān)管信息平臺
通過煤炭專網連通煤炭監(jiān)管信息平臺，實現煤炭監(jiān)管數據共享。
（10） 機房和信息展示終端建設
根據市能源局的實際需求，依照機房建設標準建設模塊化標準機房，滿足大數據平臺建設需求。展示終端可依據實際情況，建設高質量LCD大屏、信息調度臺、打印機和辦公桌椅等設備。
對機房防雷接地系統(tǒng)進行規(guī)范設計，保障終端設備的運行安全。
2 數據平臺建設
2.1 數據模型建設
根據招標文件的要求，以及我公司對地區(qū)煤礦分布情況的考察，我們設計的軟件平臺采用1+5模式，即一個市級平臺，五個區(qū)縣級平臺。
數據模型設計采用自頂向下與自底向上相結合的方法進行設計。以企業(yè)級數據模型為指導，結合相關企業(yè)規(guī)范，參考業(yè)界標桿、成熟模型，以業(yè)務需求為出發(fā)點，先建立概念模型，再在概念模型的基礎上進行細化設計邏輯模型。
1） 模型設計方法
企業(yè)級數據模型設計可采用“業(yè)務需求驅動自頂向下”和“基于現狀驅動自底向上”相結合模式，參照業(yè)界參考模型、行業(yè)最佳實踐，共同形成數據模型。從業(yè)務需求驅動入手自頂向下，參照業(yè)界參考模型、行業(yè)最佳實踐搭建數據模型整體框架，通過現狀調研獲取企業(yè)內部業(yè)務流程、設計文檔、系統(tǒng)模型、接口規(guī)范等現狀信息，現狀驅動自底向上，細化和完善數據模型的設計。
數據建模主要分為三個階段：
指定數據采集策略，針對不同類型的數據，使用不同的數據采集策略：
1、根據數據本身的特性可以將數據分為結構化數據、半結構化和非結構化數據。針對結構化和半結構化數據，我們可以采用OGG、JDBC、Kafka、Flume、Socket、SFTP等方式進行采集；針對非結構化數據，可以采用SFTP方式進行采集。
2、根據數據的時效性，可以將數據分為：流式數據、批式數據、實時數據、歷史數據。邊緣側流式數據和實時數據的采集統(tǒng)一使用網關進行采集；大數據平臺側流式數據和實時數據可采用OGG、MQTT、JDBC、Kafka、Flume、Socket、SFTP等方式進行數據采集；針對批式數據和歷史數據，可以采用SFTP、ETL進行采集。
3、根據數據量大小、涉密情況、重要性，可將數據采集分為專網采集、公網采集。數據量較大，且時效性要求較高，使用公網采集可能會造成公網的即時擁堵和不確定性，建議采用專線進行采集；針對涉密數據，可采用專線進行采集。
4、根據數據量大小和業(yè)務類別不同制定錯峰采集機制。在上傳數據時，要考慮時間段因素，盡量使用夜間網絡空閑時間，避免占用公共網絡帶寬。
5、原則上歷史數據采集，采用一次性入庫方式采集；實時數據采集則盡量采用增量方式采集。
6、針對網絡不能直接打通的方式可以采用前置機的方式進行數據采集。
7、針對信息資源共享交換平臺中的信息采用滾雪球采集的方式進行數據采集。
2） 建模原則
保證模型的穩(wěn)定性和對業(yè)務支持的靈活性，建模階段將遵循以下的原則：繼承性原則、穩(wěn)定性原則、前瞻性原則、兼顧實際原則、擴展性原則。
3） 模型優(yōu)化
定期分析數據依賴，對各個關系模式之間的數據依賴進行極小化處理，消除冗余。對動態(tài)數據與靜態(tài)數據進行分離，提升數據處理性能。對低性能模型進行反范式設計，對涉及多個關系模式的數據進行合并，提升查詢速度。
4） 數據模型維護管理
隨著業(yè)務開展及需求的不斷變化，數據模型也需要持續(xù)維護，不斷完善，以保證數據模型的完整性、前瞻性以及擴展性，這是一項長期持續(xù)的工作。
2.2 數據采集
1） 采集范圍
平臺采集數據主要涵蓋能源相關的各種數據源，具體如下：
采集系統(tǒng)包括：工業(yè)數據平臺、設備管理系統(tǒng)、生產實時數據、生產管理系統(tǒng)、燃料管理系統(tǒng)、物資管理系統(tǒng)、視頻數據、檔案系統(tǒng)、數據集成平臺、OA、人力資源、財務共享、全面預算、財務合并、財務核算、互聯網數據及第三方的數據等。
2） 采集方式
需根據每類數據的特點來定制采集方式，如下：
內部數據：此類數據數據源一般都是關系型數據庫和實時數據庫，此類數據采集方式一般采用數據庫直連的接口方式，例如內部系統(tǒng)的OA系統(tǒng)，建議采用直接開放數據庫的方式，由源系統(tǒng)開放數據庫賬戶，進行實時和定時的數據采集。
互聯網數據：主要通過爬蟲工具等方式從互聯網指定的網站進行數據采集。
第三方數據購買：此類數據一般采用的是文件方式，一般是定期或不定期通過拷貝的方式進行采集。
3） 數據采集保障
數據采集保障主要從分階段實施、制度、人員、技術等方面去保障數據采集。根據數據難易程度、數據重要性、數據粒度等分出數據的采集實施階段。
制度保障：建立數據采集的規(guī)范接口、規(guī)范的數據采集流程、數據傳輸異常的處理流程、數據采集考核標準等方式來保障數據采集的及時性、穩(wěn)定性和數據正確性。
人員保障：根據制定的數據采集流程，配備各環(huán)節(jié)的管理人員，保障數據采集過程中出現問題有專人及時發(fā)現和及時解決。
技術核驗：通過建立數據質量稽核系統(tǒng)等方式來核驗數據的準確性，主要技術手段有接口的連通性、接口的及時性、文件名的規(guī)范性、數據質量的準確性等。
4） 數據抽取
（1）定時抽取
定時觸發(fā)主要針對實時性要求不高的大量數據抽取，定時觸發(fā)可在每日晚上進行，通過增量式的數據抽取方式，可以使得每日進行的數據傳輸量能夠保持在一個可控的范疇，避免對網絡等資源造成過大的負擔。
（2）實時抽取
實時抽取主要針對需實時同步至平臺的業(yè)務數據。實時抽取需通過OGG、kafka、flume等工具進行數據的實時同步。
（3）時間觸發(fā)抽取
事件觸發(fā)抽取主要針對實時性要求非常高的具體所需要進行的數據抽取。事件觸發(fā)通常由業(yè)務應用系統(tǒng)發(fā)起，因此所需要進行數據抽取也應當有該業(yè)務應用系統(tǒng)發(fā)起數據提交的請求。通過前端的消息接入網關適配器，可實現及時的數據提交響應。
（4）全量抽取
系統(tǒng)支持全量抽取，類似于數據遷移或數據復制，它將數據源中的表或視圖的數據原封不動的從數據庫中抽取出來，并轉換成平臺可以識別的格式。全量抽取通過對數據源的抽取規(guī)則預定義，直接通過該模塊執(zhí)行抽取邏輯，并將抽取后的數據對應插入上層平臺的目標數據源中，完成全量抽取的整個過程。
（5）增量抽取
增量抽取即階段性的對本階段內變更的數據進行采集上報，包括新增、刪除、變更的數據，只抽取自上次抽取以來數據庫中要抽取的表中新增或修改的數據。在業(yè)務操作過程中，增量抽取較全量抽取應用更廣。如何捕獲變化的數據是增量抽取的關鍵。
2.3 數據加工處理
（1）數據處理流程
目前進行云計算研究與大數據處理的較為主流的平臺有由Apache公司研發(fā)的Hadoop系統(tǒng)，其把復雜的作業(yè)經過算法優(yōu)化進行合理切分成若干子作業(yè)，然后將子作業(yè)分配到具有所需數據的若干節(jié)點進行并行MapReduce計算，節(jié)點間沒有依賴性且可以根據運行狀況進行調度，提高處理速度和效率。平臺進行并行處理時，需要位于平臺底層分布式存儲系統(tǒng)中眾多節(jié)點存儲的數據和節(jié)點具體操作，眾多節(jié)點中有唯一的主節(jié)點控制其他節(jié)點的協(xié)同操作和存儲信息。
1）處理系統(tǒng)需求分析
大數據解決方案系統(tǒng)主要分為兩個子系統(tǒng)：數據遷移子系統(tǒng)和數據分析挖掘子系統(tǒng)。數據遷移子系統(tǒng)把各個在線業(yè)務平臺服務器的數據實時遷移到海量數據庫中，解決大數據的存儲、備份和共享問題;數據分析挖掘子系統(tǒng)利用系統(tǒng)集群并行對大數據進行快速分析處理，生成有價值的報告。
2）處理系統(tǒng)方案設計
本項目大數據解決方案系統(tǒng)基于Hadoop平臺的集群，以面向列存儲的HBase作為海量數據存儲數據庫。數據遷移子系統(tǒng)通過基于網絡的存儲虛擬化整合網絡異構，規(guī)避和減少宕機，保證在線數據遷移時不需間斷業(yè)務，遷移后由HBase對大數據進行高效管理。數據分析挖掘子系統(tǒng)則基于密集型離線數據分析，通過建立Hive和HBase無縫連接，Hive提供類似SQL查詢，經過系統(tǒng)平臺編譯HQL，生成執(zhí)行計劃，交由MapReduce對HBase管理的數據進行高效地并行計算，把深度挖掘到有價值的結果反饋給用戶。
3）數據分析模塊的主要流程：
①Hive與HBase集成：Hive和Hbase兩個框架通過HBase Storage Handler實現無縫接口整合，在Hive建立的表自動獲取與其建立通信的Hbase中的對應的表名、列簇和輸入輸出格式等信息。
②數據表映射：運行HQL命令創(chuàng)建Hive的外表，該外表和HBase的表映射，通過配置信息映射由HBase到Hive，確保HBase和Hive兩者之間列和數據類型的一致性。
③HBase表切分：根據數據表對應的HRegion，將Region作為InputSplit單位，根據拆分數量交給等量的Map操作。
④查詢分析統(tǒng)計：用戶在系統(tǒng)平臺中使用Hive提供的組件，根據業(yè)務需求進行編譯、提交HQL命令，然后編譯器對HiveQL命令進行解析，優(yōu)化，最后系統(tǒng)生成Hadoop的MapReduce任務，通過構建Scanner對HBase表數據進行掃描，對條件進行過濾、排序、去重，最后通過next（）獲取數據，并且把數據生產表格、圖表等形式交付給用戶。
（2）數據加工
數據加工整合是各類數據資源匯聚后，按照平臺構建目標和數據規(guī)劃，進行的標識類、要素類、索引類、標簽類、目錄類等各類基礎數據的加工和整合，加工整合手段的合理性很大程度上影響了系統(tǒng)建設質量。
以下數據加工整合需要建立常態(tài)的異常整合數據分析、回收機制。
加工與整合手段，包括數據資源的管理、流程調度管理、流程監(jiān)控管理功能，其中：
數據資源管理
對ETL過程中使用的各類數據資源進行配置管理，實現對資源的以下管理功能：
資源的增刪改查：對各資源類型進行新增、刪除、修改、查詢操作，如在資源管理中創(chuàng)建、新增、刪除、查詢表。
資源的導入、導出：對資源類型進行導入、導出操作，如在資源管理中對映射進行導入與導出，減少二次開發(fā)資源映射的工作量及起到安全備份的效果。
流程調度設計
通過統(tǒng)一的ETL平臺實現數據的加工及調度。設計數據的映射關系，數據加工過程；設計基礎層、匯總層、等各層數據的詳細加工流程以及調度時序，通過與ETL的集成，在ETL平臺上實現各類加工規(guī)則的配置，實現數據加工過程的統(tǒng)一配置及管理。
流程調度監(jiān)控
本平臺設計標準的ETL流程監(jiān)控，對流程調度的關鍵點進行實時監(jiān)控，能夠及時發(fā)現及處理流程調度過程中的異常問題，保證數據流調度。監(jiān)控范圍、監(jiān)控點、異常級別以及異常通知機制。
轉換過程
對數據結構進行重新組織排列，按平臺統(tǒng)一標準進行數據梳理，完成異構數據的整體規(guī)劃。
數據轉換標準
根據對與平臺對接應用內容的需求分析，定義出一系列的數據轉換標準。這些標準將反映各個應用所需要的數據的結構。同時在標準中定義的還有數據“宿主”位置等信息，表示該塊數據將向哪個業(yè)務系統(tǒng)請求獲得。
數據轉換流程
數據轉換是依據數據轉換流程實現的，針對不同的數據，需要設定不同的數據流轉過程。實現數據流轉過程的定義。
數據轉換映射
由于數據轉換標準并不知道在具體業(yè)務系統(tǒng)內的相應數據的位置、屬性、名稱等等信息，所以需要在業(yè)務系統(tǒng)內對數據轉換標準中的對應項有一個映射關系的定義。功能包括：數據轉換標準定義信息的導入；維護數據轉換標準與內部數據結構間的映射定義表，包括數據項與數據項的對應或組合對應（公式化）、數據類型的匹配或轉換關系、數據項位置描述記錄等等。
（3） 數據存儲計算
1）數據存儲
按資源庫類型區(qū)分的數據存儲設計如下：
資源庫類型 細分 存儲設計類型
基礎數據資源庫
綜合關聯資源庫
應用數據資源庫 結構化數據 HDFS/Hive/MPP
半結構化數據
非結構化數據 HBASE
元數據 結構化數據 Oracle/MySQL
企業(yè)內部數據、企業(yè)數據、政府數據和社會面數據等主要以文本數據為主，對應數據價值較高或查詢時效性較高的數據，存放在MPP數據庫中；對于查詢響應時長要求較寬松的，存放在HDFS分布式系統(tǒng)。
本著充分利用和共享存儲硬件資源前提，MPP數據庫和HDFS共享、或共用存儲硬件。
視頻、語音和圖片數據，如案件音視頻數據、視頻數據、圖片數據等，原則上不存儲在數據中心，此類非結構化數據經過結構化處理之后的文本數據推送緩沖區(qū)，然后實時處理或批量處理保存到大數據平臺的HDFS系統(tǒng)上。非結構化數據屬于對象存儲，在HBASE中。
元數據存儲在關系型數據庫中，方便增刪改查的交互處理。
2）計算機制
大數據平臺將基于云服務平臺搭建數據生產加工云計算環(huán)境，將根據數據源、數據類型、數據特征以及業(yè)務上對數據時效性、安全性等要求，匹配適當的計算手段。
平臺按數據的價值特征采取三種生產加工手段：
高價值密度數據：即信息聚合度高、數據關聯關系強的數據，采用關系型數據庫技術，如Oracle、Mysql、MPP，為數據加工或服務提供SQL支持。
低價值密度數據：即批量或海量的大數據，將基于Hadoop/Cassandra生態(tài)體系構建計算能力提供批量計算、海量查詢、和大數據存儲以滿足業(yè)務需要。
流數據：主要是指實時數據處理，將基于Storm、SparkSteaming、Kafka等構建實時流計算和分布式消息機制。
3）數據庫
Hadoop/Cassandra
搭建全套的hadoop/Cassandra組件。依據Hadoop/Cassandra數據框架，建立大數據中心，實現對結構化數據、非結構化數據的標準化及統(tǒng)一收集、存儲和管理。實現對企業(yè)各業(yè)務應用數據的統(tǒng)一抽取和管理，能夠為企業(yè)的綜合統(tǒng)計、報表、主題分析和數據挖掘等分析決策提供數據支持。
分布式時序數據庫
針對實時數據，采用InfluxDB，其是用Java語言編寫的一個開源分布式時序、事件和指標數據庫，無需外部依賴。也支持類似的數據庫有Elasticsearch、Graphite等。
基于時間序列，支持與時間有關的相關函數（如最大，最小，求和等）
可度量性：你可以實時對大量數據進行計算
基于事件：它支持任意的事件數
InfluxDB
無結構（無模式）：可以是任意數量的列；
可拓展的；
支持min, max, sum, count, mean, median 等一系列函數，方便統(tǒng)計；
原生的HTTP支持，內置HTTP API；
強大的類SQL語法。
自帶管理界面，方便使用自帶管理界面：
分布式：節(jié)點對外表現對等（每個節(jié)點都可以用來做入口）；加入節(jié)點自動均衡
多租戶：可根據不同的用途分索引；可以同時操作多個索引
2.4 數據分析算法
1）基于歷史的MBR分析（Memory-Based Reasoning；MBR）
基于歷史的MBR分析方法最主要的概念是用已知的案例（case）來預測未來案例的一些屬性（attribute），通常找尋最相似的案例來做比較。記憶基礎推理法中有兩個主要的要素，分別為距離函數（distance function）與結合函數（combination function）。距離函數的用意在找出最相似的案例；結合函數則將相似案例的屬性結合起來，以供預測之用。記憶基礎推理法的優(yōu)點是它容許各種型態(tài)的數據，這些數據不需服從某些假設。另一個優(yōu)點是其具備學習能力，它能藉由舊案例的學習來獲取關于新案例的知識。較令人詬病的是它需要大量的歷史數據，有足夠 的歷史數據方能做良好的預測。此外記憶基礎推理法在處理上亦較為費時，不易發(fā)現最佳的距離函數與結合函數。其可應用的范圍包括欺騙行為的偵測、客戶反應預測、醫(yī)學診療、反應的歸類等方面。
2）決策樹（Decision Trees）
決策樹在解決歸類與預測上有著極強的能力，它以法則的方式表達，而這些法則以一連串的問題表示出來，經由不斷詢問問題最終能導出所需的結果。典型的決策 樹頂端是一個樹根，底部有許多的樹葉，它將紀錄分解成不同的子集，每個子集中的字段可能都包含一個簡單的法則。此外，決策樹可能有著不同的外型，例如二元 樹、三元樹或混和的決策樹型態(tài)。
3）遺傳算法（Genetic Algorithm）
遺傳算法學習細胞演化的過程，細胞間可經由不斷的選擇、復制、交配、突變產生更佳的新細胞?；蛩惴ǖ倪\作方式也很類似，它必須預先建立好一個模式，再經 由一連串類似產生新細胞過程的運作，利用適合函數（fitness function）決定所產生的后代是否與這個模式吻合，最后僅有最吻合的結果能夠存活，這個程序一直運作直到此函數收斂到最佳解?；蛩惴ㄔ谌杭?（cluster）問題上有不錯的表現，一般可用來輔助記憶基礎推理法與類神經網絡的應用
4）聚類分析（Cluster Detection）
這個技術涵蓋范圍相當廣泛，包含基因算法、類神經網絡、統(tǒng)計學中的群集分析都有這個功能。它的目標為找出數據中以前未知的相似群體，在許許多多的分析中，剛開始都運用到群集偵測技術，以作為研究的開端。
5）鏈路分析（Link Analysis）
鏈路分析是以數學中心圖形理論（graph theory）為基礎，藉由記錄之間的關系發(fā)展出一個模式，它是以關系為主體，由人與人、物與物或是人與物的關系發(fā)展出相當多的應用。例如電信服務業(yè)可借鏈路分析收集到顧客使用電話的時間與頻率，進而推斷顧客使用偏好為何，提出有利于公司的方案。除了電信業(yè)之外，愈來愈多的營銷業(yè)者亦利用鏈路分析做有利于企業(yè)的研究。
6）OLAP分析（On-Line Analytic Processing；OLAP）
嚴格說起來，OLAP分析并不算特別的一個數據挖掘技術，但是透過在線分析處理工具，使用者能更清楚的了解數據所隱藏的潛在意涵。如同一些視覺處理技術一般，透過圖表或圖形等方式顯現，對一般人而言，感覺會更友善。這樣的工具亦能輔助將數據轉變成信息的目標。
7）神經網絡（Neural Networks）
神經網絡是以重復學習的方法，將一串例子交與學習，使其歸納出足以區(qū)分的樣式。面對新的例證，神經網絡即可根據其過去學習的成果歸納后，推導出新的結果，屬于機器學習的一種。數據挖掘的相關問題也可采類神經學習的方式，其學習效果十分正確并可做預測功能。
8）判別分析（Discriminant Analysis）
當所遭遇問題它的因變量為定性（categorical），而自變量（預測變量）為定量（metric）時，通常應用在解決分類的問題上面。若因變量由兩個群體所構成，稱之為雙群體 —判別分析 （Two-Group Discriminant Analysis）；若由多個群體構成，則稱之為多元判別分析（Multiple Discriminant Analysis；MDA）。
9）羅吉斯回歸分析（Logistic Analysis）
當判別分析中群體不符合正態(tài)分布假設時，羅吉斯回歸分析是一個很好的替代方法。羅吉斯回歸分析并非預測事件（event）是否發(fā)生，而是預測該事件的機 率。它將自變量與因變量的關系假定是S行的形狀，當自變量很小時，機率值接近為零；當自變量值慢慢增加時，機率值沿著曲線增加，增加到一定程度時，曲線協(xié) 率開始減小，故機率值介于0與1之間。
2.5 網絡安全系統(tǒng)
（1）網絡安全原則與策略
1）安全原則
安全原則體現在五個方面：動態(tài)性、唯一性、整體性、專業(yè)性和嚴密性。
1、動態(tài)性：不要把安全的靜態(tài)化，動態(tài)性是安全的一個重要的原則。網絡、系統(tǒng)和應用會不斷出現新的風險和威脅，決定了安全動態(tài)性的重要性。
2、唯一性：安全的動態(tài)性決定了安全的唯一性，針對每個網絡系統(tǒng)安全的解決，都應該是獨一無二的。
3、整體性：對于網絡系統(tǒng)所遇到的風險和威脅，要從整體來分析和把握，不能那里有問題就補那里，要做到全面的保護和評估。
4、專業(yè)性：對于用戶的網絡、系統(tǒng)和應用，要從專業(yè)的角度來分析和把握，不能是一種大概的做法。
5、嚴密性：整個解決方案，要有一種很強的嚴密性，不要給人一種虛假的感覺，在設計方案的時候，需要從多方面對方案進行論證。
2）安全技術實施策略
技術實施策略需要從八個方面進行闡述：
1、網絡結構安全：通過上一節(jié)的風險分析，找出網絡結構可能存在的問題，采用相關的安全產品和技術，解決網絡拓撲結構的安全風險和威脅。
2、主機安全加固：通過上一節(jié)的風險分析，找出主機系統(tǒng)可能存在的問題，采用相關的安全產品和技術，解決主機系統(tǒng)的安全風險和威脅。
3、防病毒：闡述如何實施桌面防病毒、服務器防病毒、郵件防病毒、網關防病毒以及統(tǒng)一的防病毒解決方案。
4、訪問控制：三種基本的訪問控制技術為路由器過濾訪問控制、防火墻訪問控制技術和主機自身訪問控制技術。
5、傳輸加密：通過采用相關的加密產品和加密技術，保護卓越信息集團公司的信息傳輸安全，實現信息傳輸的機密性、完整性和可用性。
6、身份認證：通過采用相關的身份認證產品和技術，保護重要應用系統(tǒng)的身份認證，實現信息使用的加密性和可用性。
7、入侵檢測技術：通過采用相關的入侵檢測產品和技術，對網絡和重要主機系統(tǒng)進行實時的監(jiān)控。
8、風險評估：通過采用相關的風險評估工具和技術，對網絡和重要的主機系統(tǒng)進行連續(xù)的風險和威脅分析。
3）安全管理工具
對安全項目中所用到的安全產品進行集中、統(tǒng)一、安全的管理和培訓的產品和技術。
1、緊急響應
制定詳細的緊急響應計劃，及時的響應用戶的網絡、系統(tǒng)和應用可能會遭到的破壞。
2、災難恢復
制定詳細的災難恢復計劃，及時的把用戶遇到的網絡、系統(tǒng)和應用的破壞，恢復到正常狀態(tài)，并且能夠消除產生風險和威脅的根源。
在充分滿足合規(guī)要求的同時，云安全管理平臺致力于為云用戶提供立體的、全面的安全防護能力，保護云計算用戶在云上資產的訪問、使用、數據的安全
（2）遠程接入安全
對擁有大量租戶的云系統(tǒng)來說，云租戶選擇將企業(yè)內部的業(yè)務系統(tǒng)部署在云上，需要為租戶在云上的業(yè)務提供安全可靠的遠程訪問，建立企業(yè)分支與云之間的具有保密性的網絡連接是十分必要的，以提高溝通效率和資源利用效率。此外，云租戶的工作人員出差時也需要訪問系統(tǒng)內部的一些信息資源，這時同樣需要建立保密的網絡連接。虛擬專用網（Virtual Private Network，VPN）技術以其靈活、安全、經濟、易擴展的特點，滿足了這部分需求。
VPN解決方案，可提供的安全解決能力包括IPsec VPN、SSL VPN等遠程接入方式。IPSec是業(yè)界標準的網絡安全協(xié)議，可以為IP網絡通信提供加密服務，保護 TCP/IP 通信免遭竊聽和篡改，從而有效抵御網絡攻擊。IPSec VPN幫助云上租戶解決了分支安全接入云平臺的問題。但是它對移動辦公用戶（出差人員）遠程接入的問題無法解決，SSL VPN解決方案正好滿足了這部分需求，而且SSL VPN具有細粒度控制、免客戶端軟件安裝等其它特點。
VPN接入網關是整個VPN解決方案的核心部分。它支持多種VPN業(yè)務，如L2TP VPN、IPSec VPN、GRE VPN等，它可以針對客戶需求通過互聯網線路、租用線等方式接入到云網絡內部，構建Internet、Intranet、Extranet等多種形式的VPN。SSL VPN解決方案的特點：
接入靈活：采用B/S架構，直接使用“瀏覽器”完成VPN接入。當員工需要進行遠程接入時，其移動終端不需要特別配置，降低了維護成本和使用難度。
細化控制：能夠根據用戶個人身份和主機安全狀態(tài)授予其不同的訪問權限。在面向合作伙伴時，也可以根據情況，靈活地授予合作伙伴不同的訪問權限。
在實際的組網中，租戶可以根據云上業(yè)務的特點和并發(fā)訪問數量，采用IPsec、SSL結合靈活多樣的組網方式，用最合適的方案滿足租戶在云上的VPN接入需求。
隨著云上的業(yè)務越來越多，租戶IT應用的不斷增加以及來自外部訪問的增多，邊界安全依舊是最重要的安全問題之一。傳統(tǒng)的將網絡劃分內網辦公區(qū)、數據中心區(qū)、外聯數據區(qū)、互聯網連接區(qū)等分區(qū)保護的方式已經不再適合云上的安全需求。云內的訪問流量包括虛擬網絡內部的東西向訪問流量和來自外部網絡的南北向流量，需要分別為這兩種流量提供安全防護手段。
考慮到云上網絡流量的變化，我們提出以下一代防火墻、防病毒模塊、入侵防御（IPS）模塊為支撐的南北向防護方案和以主機防火墻、主機IPS為核心的東西向邊界安全解決方案。網絡邊界安全關注的來自外部的南北向流量中的安全威脅。
（3）防病毒
防火墻內置的防間諜軟件功能可以對500余萬種間諜軟件實現防護，利用雙向攔截C&C（命令與控制）通信，避免失陷服務器進一步造成危害。作為漏洞防護有效的補充，除了預防木馬后門、病毒蠕蟲、僵尸網絡之以外，支持自定義簽名的方式識別間諜軟件的特征。智慧防火墻深度集成漏洞防護、間諜軟件防護等應用層安全功能，通過單引擎一次性數據處理對穿越數據中心出口的所有流量進行深度威脅檢測。啟用智慧防火墻的漏洞可對緩沖區(qū)溢出、跨站腳本、拒絕服務等3000余種漏洞利用攻擊進行防護。
內置的防間諜軟件功能可以對500余萬種間諜軟件實現防護，利用雙向攔截C&C（命令與控制）通信，避免失陷服務器進一步造成危害。作為漏洞防護有效的補充，除了預防木馬后門、病毒蠕蟲、僵尸網絡之以外，支持自定義簽名的方式識別間諜軟件的特征。
3 系統(tǒng)總體架構設計
3.1 系統(tǒng)架構概述
在技術架構層面，我公司提出以大數據+企業(yè)+政務的創(chuàng)新模式，并融合云計算、移動互聯、物聯網、大數據、人工智能等相關技術而形成開放式的云化操作系統(tǒng)。其整體架構分為采集層（邊緣層）、IaaS層、PaaS層、SaaS層共4層的體系架構，如下圖所示：
采集層（邊緣層）是基礎，支持數十種的相關協(xié)議數據采集能力，可與企業(yè)端設備有機整合，可通過智能網關或工控機實現邊緣端的配置、數據、模型與云端的互聯互通。
IaaS層是支撐，本平臺采用招標人自建的IT基礎設施，可與其完美適配。
PaaS層是核心，按照平臺架構職責分為三大子平臺：
1、PaaS-D大數據平臺，是以國產Hadoop（BEH）或Cassandra為底層數據服務環(huán)境，整合關系型數據庫、時序數據庫、文本數據庫等多款產品，提供工業(yè)大數據存儲、管理、計算、分析和服務能力。
2、PaaS-P通用應用開發(fā)平臺，提供支持傳統(tǒng)工業(yè)軟件快速云化的自研軟件如動態(tài)模型引擎、流程引擎、動態(tài)表單工具、開發(fā)平臺與IDE插件等，和支持構建新型工業(yè)APP的自研工具如微服務治理平臺、工業(yè)建模工具、數據挖掘工具、二三維組態(tài)軟件等，同時大量融合了工業(yè)領域常用的流程工具、仿真工具和行業(yè)知識和機理基礎工具。
3、PaaS-B通用業(yè)務平臺，提供基于工業(yè)的常見業(yè)務能力服務。包含常見的設備管理、設備監(jiān)控、設備事件、設備分析、設備組態(tài)等組件能力。
SaaS層是關鍵，圍繞政務服務系統(tǒng)、企業(yè)服務系統(tǒng)和公眾服務系統(tǒng)等應用場景，構建市級智慧能源管理節(jié)能云平臺。
3.2 系統(tǒng)應用拓撲
按照實用性和易用性原則，針對不同使用者，應用架構涉及政務服務系統(tǒng)、企業(yè)服務系統(tǒng)和公眾服務系統(tǒng)等三類應用。
運銷管理系統(tǒng)包括基礎設置、合同管理、煤質管理、運銷計劃、運銷管理、運銷報表、運銷開票等模塊。
本運銷系統(tǒng)主要以基礎設置、合同管理、煤質管理、運銷計劃、運銷管理、運銷報表、運銷開票等七個子系統(tǒng)，涵蓋了運銷業(yè)務的全過程和全部信息，本文以其中幾個典型模塊為例，具體介紹本系統(tǒng)的詳細設計及技術實現要點。
基礎設置子系統(tǒng)功能結構如圖。本部分功能是整個運銷系統(tǒng)的基礎常用信息部分。根據運銷業(yè)務的特點，我們對常用的信息進行了編碼并進行了相關的設置，在界面上采用統(tǒng)一的輸入風格，其中包括買方信息、煤礦信息、產品信息、行業(yè)信息等，這樣便于使用、修改和維護。整個基礎設置部分業(yè)務比較簡單，在此以買方設置為例介紹基礎信息部分的設計。
基礎設置子系統(tǒng)包括買方設置、煤炭設置、產品設置、車站設置、行業(yè)設置、電力部門、運輸類型、鐵運歸口等模塊。
合同管理系統(tǒng)管理各類合同的申請、審批以及合同變更等。
通過合同中心，將合同的所有相關資料歸集在一起,建立合同檔案，管理合同的附件、協(xié)議等。
自動記錄合同的變更歷史，自動記錄合同發(fā)票、合同結算細節(jié)；自動記錄合同入庫信息，跟蹤供應商合同執(zhí)行情況。
合同文本可以包括WORD、EXCEL等文檔，包括掃描，鏈接附件。
合同付費申請：完成合同付款申請操作。
合同付費審查：主要功能是完成合同付款的審查操作。
合同查詢及報表主要功能特性：
可按合同編號查詢合同的整體情況,包括審批、基本情況、執(zhí)行情況。
可按合同種類、執(zhí)行情況、簽訂日期等條件查詢。
可打印相關合同臺帳、報表。
運銷報表是煤炭行業(yè)運銷管理系統(tǒng)中運銷業(yè)務過程及結果的直接反映，它能具體反映當日（月）煤炭銷售的實際情況，為煤炭銷售提供決策支持。正因為如此，根據運銷業(yè)務的過程、性質的不同，面對不同決策需求,在運銷系統(tǒng)中，分為各種各樣的報表，完成不同類型、不同格式數據的統(tǒng)計和匯總功能。運銷報表功能結構如圖，運銷報表子系統(tǒng)包括產銷運報表、運銷日報等。
運銷開票是煤炭行業(yè)運銷管理系統(tǒng)中煤炭銷售業(yè)務和銷售效益的聯結紐帶，開票單項目包含銷售煤炭數量、質量、價格、運輸費用以及用戶的相關財務信息等。由于其是銷售業(yè)務的經濟反映,涉及財務、稅收等方面，因此，對該系統(tǒng)數據要求詳實，業(yè)務要求嚴謹。運銷開票子系統(tǒng)包括開票單錄入、開票單審核、開票單審批、開票單查詢、開票單統(tǒng)計等模塊。
開票單錄入：各辦事處的銷售人員在煤炭發(fā)運到客戶方之后，在和客戶方對運量和煤質等信息確認之后，根據確認的該批煤炭銷售的相關信息填制錄入，形成開票結算單，作為結算的原始數據。
開票單審核：由計調科負責對相關人員填寫的開票單進行審核，在檢查無誤之后，交由領導審批。
開票單審批：由運銷公司領導根據情況進行審批，審批后交由財務處，依此開具銷售發(fā)票。
在貨款開票單中，編號按照辦事處的拼音縮寫+當前月份+3位流水號自動生成，例如3月份開具的第四單據號為JN03004。對于開頭部分信息從客戶檔案中自動獲取。對于最終的報價能夠根據輸入的銷量和結算價位進行自動計算合計數。其中結算量的計算公式為：
結算量=礦發(fā)量+虧盈噸-扣水-未收到
結算價=結算車板價/結算到站價
價稅合計=結算量×結算價
合計=價稅合計+短運費+運費
煤炭開票系統(tǒng)流程
安全檢查是煤炭行業(yè)運銷管理系統(tǒng)中實現對企業(yè)各類安全檢查從檢查組織、檢查內容、問題整改、驗收進行全面性流程化管理。由安全檢查計劃、安全檢查通知、安全檢查管理、安全檢查總結、標準化檢查表各子模塊完成。模塊分類如圖所示。
①安全檢查計劃：為提高檢查質量，公司、分公司、車間在安全檢查前先在系統(tǒng)上制定檢查計劃,檢查計劃主要包括檢查提醒時間、檢查主題、檢查時間、被檢查單位、檢查負責人、檢查組織部門、參加檢查人員、主要檢查內容，同時可上傳有關具體檢查要求等文件，檢查計劃制定后，系統(tǒng)將自動提醒被檢查單位、檢查負責人和參加檢查人員做好檢查準備。系統(tǒng)以檢查主題、發(fā)布人、檢查組織單位、所屬單位、檢查時間為檢查記錄內容形成所有檢查計劃的主頁面,以方便公司、分公司對各項安全檢查進行管理。
②安全檢查管理：利用該子模塊實現對安全檢查問題的閉環(huán)管理。首先，檢查后，檢查人員將檢查問題錄入系統(tǒng)，錄入內容包括安全檢查主題（從檢查計劃相關檢查主題選擇錄入）、整改單位、檢查組織單位及負責人、檢查問題、問題地點、整改期限，然后通過“下一步”操作，將檢查問題信息下發(fā)責任單位，同時提醒責任單位安全管理部門。第二步，由責任單位安全管理部門針對檢查問題制定和填寫整改措施、明確整改負責人、設備主題車間驗收負責人和分公司驗收負責人，然后通過“下一步”操作，將檢查問題和相關責任下發(fā)到整改負責人、各驗收負責人，同時提醒相關負責任人。第三步，整改負責人將檢查問題整改后，由設備主題車間安全管理人員進行整改驗收,驗收合格并簽字后，再有分公司安全管理部門相關人員驗收簽字，形成安全檢查問題的閉環(huán)管理。為了強化對檢查問題限期治理的嚴肅性，系統(tǒng)按照整改期限對檢查問題主頁面上所有檢查問題分四種顏色顯示，離整改期限較長時（一般設置2-3天）記錄顯示正常色,離整改期限較短時（一般少于2-3天）記錄顯示黃色，以提醒相關責任單位、責任人需盡快采取措施進行整改，超過整改期限時仍未完成整改、驗收的，檢查問題記錄將顯示紅色報警，在整改期限以前完成整改和驗收的，相關記錄顯示綠色。通過安全檢查問題記錄的顏色變化，即能起到督促整改的作用，也有利于安全監(jiān)督部門的安全考核管理。同時通過安全檢查管理子模塊，也建立了歷次安全檢查問題與整改的詳細檔案，有利于安全管理分析，進一步采取加強安全管理的措施。
③安全檢查總結：每次安全檢查以及整改后，根據檢查問題的質量和整改效果，由檢查人員在系統(tǒng)安全檢查總結格式上填寫安全檢查總結，主要包括檢查的組織、檢查問題主要內容、責任單位組織整改情況、整改措施制定和整改效果情況、下一步需采取的措施。所有安全檢查總結以記錄的形式顯示于安全檢查總結子模塊主頁面，供大家研究和改進。
④安全檢查表：為提高每次安全檢查質量,在檢查前制定和公布標準安全檢查表，每項安全檢查表以檢查主題、公布單位、發(fā)布人為主要查詢信息顯示于安全檢查表子模塊主頁面，以便于大家學習和應用。
由分公司或公司填寫安全檢查問題，若是公司填寫則首先把流程推到分公司整改，分公司有權限可再推到分公司所屬的車間整改，車間整改完后返回給分公司驗收，后判斷此問題時候需要公司驗收，如是則由公司驗收，否則直接結束；若開始的檢查問題是分公司填寫，則首先有車間整改,整改后公司驗收，后在判斷時候上報公司，最后結束即可。
3.3 平臺技術架構
第一層是邊緣，通過大范圍、深層次的數據采集，以及異構數據的協(xié)議轉換與邊緣處理，構建工業(yè)互聯網平臺的數據基礎。一是通過各類通信手段接入不同設備、系統(tǒng)和產品，采集海量數據；二是依托協(xié)議轉換技術實現多源異構數據的歸一化和邊緣集成；三是利用邊緣計算設備實現底層數據的匯聚處理，并實現數據向云端平臺的集成。
第二層是平臺，基于通用PaaS疊加大數據處理、工業(yè)數據分析、工業(yè)微服務等創(chuàng)新功能，構建可擴展的開放式云操作系統(tǒng)。一是提供工業(yè)數據管理能力，將數據科學與工業(yè)機理結合，幫助制造企業(yè)構建工業(yè)數據分析能力，實現數據價值挖掘；二是把技術、知識、經驗等資源固化為可移植、可復用的工業(yè)微服務件庫，供開發(fā)者調用；三是構建應用開發(fā)環(huán)境，借助微服務組件和工業(yè)應用開發(fā)工具，幫助用戶快速構建定制化的工業(yè)APP。
第三層是應用，形成滿足不同行業(yè)、不同場景的工業(yè)SaaS和工業(yè)APP，形成工業(yè)互聯網平臺的終價值。一是提供了設計、生產、管理、服務等一系列創(chuàng)新性業(yè)務應用。二是構建了良好的工業(yè)APP創(chuàng)新環(huán)境，使開發(fā)者基于平臺數據及微服務功能實現應用創(chuàng)新。
首先，邊緣層是基礎。在平臺的邊緣層，對海量設備進行連接和管理，并利用協(xié)議轉換實現海量工業(yè)數據的互聯互通和互操作；同時，通過運用邊緣計算技術，實現錯誤數據剔除、數據緩存等預處理以及邊緣實時分析，降低網絡傳輸負載和云端計算壓力。
其次，平臺層是核心。在通用PaaS架構上進行二次開發(fā)，實現工業(yè)PaaS層的構建，為工業(yè)用戶提供海量工業(yè)數據的管理和分析服務，并能夠積累沉淀不同行業(yè)、不同領域內技術、知識、經驗等資源，實現封裝、固化和復用，在開放的開發(fā)環(huán)境中以工業(yè)微服務的形式提供給開發(fā)者，用于快速構建定制化工業(yè)APP，打造完整、開放的工業(yè)操作系統(tǒng)。
最后，應用層是關鍵。通過自主研發(fā)或者是引入第三方開發(fā)者的方式，平臺以云化軟件或工業(yè)APP形式為用戶提供設計、生產、管理、服務等一系列創(chuàng)新性應用服務，實現價值的挖掘和提升。
3.4 系統(tǒng)數據流向架構
（1）數據架構
工業(yè)互聯網數據架構主要由采集交換層、集成處理層、建模分析層和決策控制層構成，其目標是全方位采集工業(yè)各個環(huán)節(jié)的數據，將這些數據匯聚融合后進行深度分析，來支持工業(yè)生產、組織、服務各個環(huán)節(jié)的決策和控制，形成反饋閉環(huán)。
1、采集交換層
完成數據從企業(yè)內部系統(tǒng)和外部數據源獲取數據，并實現不同系統(tǒng)之間數據的交換的功能。將工業(yè)互聯網中各組件、各層數據匯聚在一起，要實現數據從底層向上層的匯聚，以及在不同系統(tǒng)間傳遞，需要完善的數據采集交換技術支持。工業(yè)互聯網系統(tǒng)一般采取消息中間件技術實現。
2、集成處理層
將物理系統(tǒng)實體的抽象和虛擬化，將清洗轉換后的數據與虛擬制造中的產品、設備、產線等實體相互關聯起來。涉及數據的清洗轉換加載技術、數據存儲管理技術、數據查詢與計算技術，以及響應的數據安全管理和數據質量管理等技術支撐。
3、建模分析層
在虛擬化的實體之上構建仿真測試、流程分析、運營分析等分析模型，用于在原始數據中提取特定的模式和知識，為各類決策的產生提供支持。工業(yè)互聯網數據分析建模技術，從大的方面可以分為基于知識驅動的方法和基于數據驅動的方法。其中，知識驅動的分析方法建立在工業(yè)系統(tǒng)的物理化學原理，工藝及管理經驗等知識之上；數據驅動的分析方法完全在數據空間中通過算法尋找規(guī)律和知識。
4、決策控制層
基于數據分析結果，生成描述、診斷、預測、決策、控制等不同應用，形成優(yōu)化決策建議或產生直接控制指令。
工業(yè)互聯網數據應用可以分為5大類：
1）描述類
主要利用報表、可視化等技術，匯總展現工業(yè)互聯網各個子系統(tǒng)的狀態(tài)，使得操作管理人員可以在一個儀表盤上總覽全局狀態(tài)。此類應用一般不給出明確的決策建議，完全依靠人來做決定。
2）診斷類
主要利用規(guī)則引擎、歸因分析等，對工業(yè)系統(tǒng)中的故障給出告警并提示故障可能的原因，輔助人工決策。
3）預測類
主要利用邏輯回歸、決策樹等，預測未來系統(tǒng)狀態(tài)并給出建議。
4）決策類
主要是利用隨機森林，決策樹等方法，提出經營管理方面的決策建議。
5）控制類
根據高度確定的規(guī)則，直接通過數據分析產生的行動指令，控制生產系統(tǒng)采取行動。
（2）數據流向
企業(yè)端設備的數據采集：各單位通過端設備上各類能耗數據、設備運行數據，數據采集服務器實時采集，大數據平臺采集各方數據后，進行數據標準化、加工、整合，形成數據資源庫，供政務服務平臺、企業(yè)服務平臺、公眾服務平臺使用。
大數據平臺可將優(yōu)化分析結果、報警結果、相關統(tǒng)計數據按權限、需求推送至相應的用戶，為精細化管理，提供強有力的支撐，并指導其安全生產。
3.5 系統(tǒng)安全架構
平臺安全架構主要包含安全域劃分、系統(tǒng)自身安全、專用安全防護系統(tǒng)和信息安全管理四個層次的安全方案。針對綜合展示平臺的安全分析，基于上述設計原則，總體架構如下。
基于大數據背景下安全保護技術，指的是利用互聯網技術優(yōu)化大數據背景下信息收集、存儲以及處理等安全問題。對于大數據背景下的安全技術自身來講，網絡安全技術的具體體現有如下三點。
1）安全防護技術。安全防護技術是網絡安全技術中的核心組成部分，是符合信息傳輸需求的技術。在大數據背景下網絡安全防護技術是確保信息安全的主要技術之一，安全防護技術包含的種類比較多，其中比較典型的有防火墻技術、病毒防護技術、入侵檢測技術等。
2）加密技術。當前，企業(yè)與個人互聯網用戶在不斷增加的同時，用戶對自身信息的安全程度也隨之加大。在大數據背景下若想保證用戶信息安全需合理應用加密技術。如今，加密技術層面的研究主要以信息隱藏技術與密碼體制為主。能夠說，對于在大數據背景下安全保護技術而言加密技術的應用具有不可或缺的作用。
3）建設網絡安全結構。網絡安全結構是否科學，與大數據背景下信息安全保護水平有莫大關聯。對各類信息安全風險制定相應的優(yōu)化措施固然重要，但若是沒有科學有效的管理機制作為支撐的話，信息安全風險相應措施很難發(fā)揮出其實際效用。構建網絡安全結構的實際目標為對網絡安全風險進行分析，并針對風險的具體影響制定相應的優(yōu)化措施。
通過大數據平臺建設，結合邊緣計算和數據倉庫技術，對海量數據進行采集、計算、存儲、加工、服務，統(tǒng)一數據標準和統(tǒng)計口徑，從而打造具有能源行業(yè)特色的“數據中臺”。通過“數據中臺”建設，實現“數據標準化”、“內核技術工具化”和“元數據驅動智能化”，建立統(tǒng)一數據體系和統(tǒng)一數據服務體系，形成標準數據，再進行存儲，形成大數據資產庫，進而為政府能源管理、企業(yè)能源管理提供更高效、更準確的數據支撐和工具支撐。
數據中臺的建設，將結合企業(yè)的實際業(yè)務需求，按照統(tǒng)籌規(guī)劃、突出重點、分級建設、逐步完善的建設策略，從數據層面對各層面的信息資源（設備傳感器數據、業(yè)務數據、經營數據、生產數據、視頻圖像數據、文件檔案信息等）進行整合、治理、充分發(fā)揮和挖掘信息資源的潛在價值，提供面向生產保障、資產管理、運營分析等多維度分析和實時運行態(tài)勢展示。建立統(tǒng)一數據體系和統(tǒng)一的服務體系，實現數據共建、共享、共用，打造從“連接”到“平臺”再到“應用”的立體式全方位服務。
4 系統(tǒng)支撐系統(tǒng)設計
4.1 應用支撐系統(tǒng)標準規(guī)范
由于數據來源分布較多，故需要建立一套標準體系，包括平臺內部數據類標準，服務類標準和管理類標準，重點是數據標準。
數據標準是為了使政府與企業(yè)之間使用和交換的數據一致及準確，經協(xié)商一致制定并經批準，共同使用和重復使用的一種規(guī)范性文件。
數據標準是由一套管理規(guī)范、管控流程、技術工具共同組成的體系，通過體系逐步實現企業(yè)信息的標準化。
數據標準是在數據層面上對重要業(yè)務主體的統(tǒng)一規(guī)范，也是業(yè)務規(guī)范在數據層面上的實現，數據標準實施依賴于業(yè)務部門之間的共識，以及業(yè)務與技術之間的配合。
數據標準的建設，要充分考慮對數據整體的設計，防止出現數據的一致性和可用性的矛盾沖突。如數據需求缺乏規(guī)范，造成數據對象多份存儲，存儲結構各異，嚴重影響數據共享；數據標準依據各異，造成統(tǒng)計口徑無法匹配；業(yè)務口徑不統(tǒng)一，造成溝通困難，發(fā)生歧義。建設時要統(tǒng)籌規(guī)劃，避免問題的發(fā)生。
數據標準的建設，將在業(yè)務、技術和管理方面為企業(yè)提供支撐。
業(yè)務方面，一方面可以提升業(yè)務的規(guī)范性，通過標準可以明確很多數據業(yè)務含義，使得不同業(yè)務部門之間，以及業(yè)務與技術之間溝通更加順暢，避免歧義；另一方面可以提升數據對業(yè)務分析的支撐度，如通過數據標準，可以明確的把某個數據主題信息分為多類，例如基本信息、聯系信息、財務信息等，為多維度分析和深度挖掘提供依據。更為重要的是：通過數據標準，實現數據信息的統(tǒng)一一致，使得數據很容易在各業(yè)務部門之間流轉。
技術方面，首先相同結構的數據，更容易實現共享和交換；其次，相同的數據標準，減少大量的轉換清洗工作，極大提升數據處理效率。
管理方面，數據標準更多的是能提供完整、及時、準確、高質量的數據，為決策支持、精細化管理，特別是大數據應用相同建設提供支撐。
（1）基礎設施即服務標準建設
云計算平臺總體功能框架分為基礎設施、分布式操作系統(tǒng)、云服務、安全管理和運維管理五個部分。
1）基礎設施主要包括計算存儲設備、網絡設備和安全設備等硬件設備。
2）分布式操作系統(tǒng)主要包括資源管理、分布式存儲系統(tǒng)、任務調度、虛擬化和服務管理五個方面。
3）云服務主要包括負載均衡、虛擬主機、對象存儲服務、分布式數據庫與大數據計算服務五個方面。
4）安全功能主要包括網絡安全、主機安全、分布式操作系統(tǒng)安全、數據安全、云服務安全和安全管理六個方面。
5）運維管理主要包括自動化運維、集群監(jiān)控、運維管理與自助服務四個方面。
應用系統(tǒng)是云計算平臺所支撐的上層應用，構建在云服務之上。通過云服務的組合，云計算平臺為聯機事務處理類應用、聯機分析處理類應用、搜索類應用、大數據分析類應用與內容管理類應用提供服務支撐。
（2）數據即服務標準建設
1）數據標準管理規(guī)范
實現對數據元、同義詞的規(guī)范管理，對業(yè)務系統(tǒng)進行對標，同時建立數據質量檢查規(guī)則，實現數據的標準化清洗和轉換。
2）數據元管理規(guī)范
對數據元進行規(guī)范化管理，包括數據元增加、數據元修改等。對數據元的管理，實現數據元的全覆蓋，一是對已建系統(tǒng)，逐個數據表進行數據元關聯，對有對應數據元的進行關聯，無對應數據元的新增同義詞或新增數據元；對于新建系統(tǒng)，在標準結構設計中開展數據元引用，已有數據元可引用的直接關聯，沒有對應數據元的新增同義詞或新增數據元。
3）數據采集管理規(guī)范
能源云大數據資源目錄面向各個能源板塊提供數據采集錄入規(guī)范，通過綜合考慮已發(fā)布規(guī)范的基礎上，制定了覆蓋全行業(yè)的數據采集標準，實現數據的全面采集，同時避免重復采集的問題。
4）數據服務管理規(guī)范
本規(guī)范是各部門、各板塊在數據申請、使用、回收全生命周期過程中必須遵守的行為準則。
數據申請規(guī)范包括數據申請、審批、發(fā)放、回收。流程支持基于WEB的可視化自定義，需要經過申請、審核、自動交付等幾個環(huán)節(jié)，并與運維配置管理庫、運維流程、用戶部門等模塊集成，形成相應的審批記錄。
5）數據質量管理規(guī)范
基于元數據的數據質量管理流程，主要包含兩個方面：元數據自身的數據質量管理以及基于數據質量管理系統(tǒng)之上的經營分析系統(tǒng)管理流程。
6）管理機制
元數據管理的引入為數據質量提供了系統(tǒng)的保證，但由于需求不斷變化，而元數據涉及一些手工整理的業(yè)務和技術元數據，數據質量的提高必將是一個長期、持續(xù)的過程，因此，有必要成立一個有效的組織機構保障數據管理工作的順利進行。
組織機構職責
相關外部組織
質量控制流程
需求變更控制流程
數據質量問題處理流程
元數據變更維護流程
錯誤數據維護流程
（2）平臺即服務標準建設
1）基礎平臺功能管理規(guī)范
PaaS平臺數據庫為PaaS管理系統(tǒng)，內部各服務組件以及外部應用提供數據資源的存儲和管理功能。
2）數據庫即服務功能
數據庫即服務（DBaaS）提供一個統(tǒng)一的數據庫訪問服務，它屏蔽了底層的異構數據庫特性，為上層應用提供了簡單方便的數據庫訪問接口，將應用和數據庫隔離開來，降低了耦合性，增強了系統(tǒng)的靈活性和健壯性。包括：數據訪問接口、數據路由、數據庫連接池服務、數據庫信息管理、數據管理、數據庫歸檔管理、對象-數據表映射管理、監(jiān)控告警。
3）中間件即服務功能
中間件即服務提供一個統(tǒng)一的應用服務器能力使用層。它可以連接提供各種服務能力的多種中間件服務器，并為這些異構中間件的使用提供統(tǒng)一的接入能力。
中間件即服務還需要提供對基礎設施的接入能力，從而使中間件上的各種服務能有效的按照應用的需求使用基礎設施的資源管控能力來調度底層的IT資源。同時，中間件即服務還需要提供與后端的數據庫相整合的能力，提供對數據庫即服務能力的有效使用，從而形成應用、中間件平臺與數據庫之間的解耦，進一步增強整個系統(tǒng)的靈活性、健壯性和可擴展性。
中間件即服務作為應用和獨立的應用服務器系統(tǒng)、數據庫、以及基礎設施之間的統(tǒng)一媒介，應該具備以下功能：
提供支持Web應用、Web/REST服務和OSGI組件的應用服務器系統(tǒng)
提供集成服務器
提供客戶端輔助開發(fā)工具
PaaS平臺運行環(huán)境部署功能
提供PaaS平臺根據應用需要自動伸縮的能力
提供PaaS平臺集成各種服務的能力
提供多租戶管理服務
提供對數據庫的連接能力
提供統(tǒng)一數據交換模型
4）技術服務功能規(guī)范
技術服務基于PaaS平臺的數據庫和中間件，根據PaaS平臺的通用技術要求選擇特定產品并做必要的封裝，使其適用于為PaaS平臺業(yè)務服務和前端應用提供與業(yè)務無關的服務，如日志服務，緩存服務等。
5）業(yè)務服務功能規(guī)范
將可標準化、可共享的業(yè)務邏輯剝離出來，按照統(tǒng)一的規(guī)范和標準經過抽象封裝形成的標準服務。所有業(yè)務服務都將注冊到服務總線，并通過服務總線統(tǒng)一發(fā)布服務。應用模塊對服務的需求通過服務總線調度，獲取特定的實例。
6）軟件即服務標準建設
開發(fā)者開發(fā)的應用能否在在商店上線并且健康運行，不僅需要成熟可靠的技術支撐，還需要應用開發(fā)過程的規(guī)范的保障，所以需要建立以下規(guī)范：服務資源申請、服務資源審核、組建應用規(guī)范、應用上線規(guī)范、應用發(fā)布規(guī)范、
服務的實施不僅需要成熟可靠的技術支撐，業(yè)務過程的規(guī)范管控也是服務實施的必要保障，需建立以下過程規(guī)范：建立應用系統(tǒng)邊界設計規(guī)范、建立服務發(fā)布規(guī)范。
4.2 基于微服務架構的應用支撐平臺
微服務是將單一應用劃分為一組小的服務，服務之間互相協(xié)調、配合，為用戶提供最終價值的架構體系。而每個服務運行在獨立的進程中，服務之間采用輕量級通信（通常是基于HTTP協(xié)議的Rest API），并且每個服務都承載著獨立的業(yè)務單元責任，能夠被獨立的部署和發(fā)布。
1）微服務治理管理
隨著大數據和云平臺的發(fā)展，企業(yè)和服務提供商正在尋找更好的方法將應用程序部署在云環(huán)境中，微服務是解決方案中的重要環(huán)節(jié)。通過提供一整套微服務治理框架，可以實現對現有業(yè)務系統(tǒng)在業(yè)務領域的有效拆分，更好的聚焦業(yè)務需求，更快的響應業(yè)務的變化。同時提高系統(tǒng)的穩(wěn)定性與容錯能力，為用戶提供更好的交互體驗。
微服務治理框架提供了一系列框架集合，利用Spring Boot的開發(fā)便利性巧妙地簡化了分布式系統(tǒng)基礎設施的開發(fā)，如服務發(fā)現注冊、配置中心、消息總線、負載均衡、斷路器、數據監(jiān)控等，都可以用Spring Boot的開發(fā)風格做到一鍵啟動和部署。功能包括：
2）服務注冊與發(fā)現
服務注冊與發(fā)現組件是一種進程內負載均衡的分布式方案，負載均衡和服務發(fā)現能力被分散到每一個服務消費者的進程內部，同時服務消費方和服務提供方之間是直接調用，沒有額外開銷，性能比較好。
3）服務調用
通過注冊中心調用服務spring cloud提供了Ribbon和Feign的集成。
Ribbon主要功能是提供客戶端的軟件負載均衡算法，將Netflix的中間層服務連接在一起。
Feign是一種聲明式、模板化的HTTP客戶端。Spring Cloud為Feign添加了Spring MVC的注解支持，并整合了Ribbon和Eureka來為使用Feign時提供負載均衡。
4）斷路器與監(jiān)控
斷路器是服務容錯的解決方案，凡是需要容錯的依賴點（服務，緩存，數據庫訪問等）開發(fā)人員只需要將調用封裝在Hystrix Command里頭，則相關調用就自動置于Hystrix的彈性容錯保護之下。
5）在線API
自動生成在線API用于生成、描述、調用和可視化RESTful風格的Web服務。
6）微服務開發(fā)管理
結合本項目需求和數據安全原則，規(guī)范微服務開發(fā)的業(yè)務流程，API門戶提供開放、阻塞、廢棄、銷毀等全生命周期管理功能；API網關提供整套安全防護手段，包括安全認證、流量控制、防惡意攻擊、API調用質量分析等功能，控制API的測試與使用；API驗證服務為框架提供API用戶登錄管理和密鑰管理支持；API監(jiān)控通過API網關提供訂閱、統(tǒng)計功能。
4.3 微服務測試
開發(fā)團隊采用的任何測試策略，都應當力求為服務內部每個模塊的完整性，以及每個模塊之間、各個服務之間的交互，提供全面的測試覆蓋率，同時還要保持測試的輕便快捷。
自動化：測試任務的增加，要求測試人員必須把主要的精力用于將測試自動化，擺脫手動測試帶來的沉重負擔。當然，自動化測試必須足夠穩(wěn)定、穩(wěn)健，不能動輒誤報，否則反而會導致很高的維護成本。
層次化：這意味著采用分層次的測試方法，粒度由細到粗，范圍由小到大。下面這幅度說明了幾個主要層次之間的關系：最底層的是單元測試（Unit Test），粒度最細，速度最快，維護成本也最低。往上是針對每種服務內部的各種模塊、業(yè)務流程的測試。最上面是基于前端UI的測試，這部分的粒度最粗，范圍最大（因為會覆蓋大多數服務），但是維護成本最高，因為稍微有些細微的變化就可能需要調整腳本。而且，由于基于前端，需要設置很多響應時間和等待時間，所以速度越最慢。
可視化：為了降低交流成本，最好的辦法就是讓所有的測試結果可視化。這意味著將構建（Build）、測試（Test）、部署（Deploy）所有這些相關任務構建在一個流水線之中，讓所有團隊成員都可以隨時監(jiān)控項目進度，找到阻礙項目的瓶頸。
4.4 微服務監(jiān)控
微服務架構下，大部分功能模塊都是單獨部署、獨立運行的，彼此通過接口交互，都是無狀態(tài)的服務，業(yè)務流會涉及多個服務，復雜度會高很多。
服務概覽信息：如服務名稱、服務部署所在機房、主機、服務包含的API、服務相關配置信息、服務負責人、開發(fā)人員、運維人員信息等。
服務性能指標：如響應實現、流量、成功、失敗數、請求頻率等。
服務拓撲關系：服務之間的調用關系。
服務調用鏈：服務的整個調用鏈監(jiān)控。
服務版本信息：服務版本，客戶端版本等。
服務治理狀態(tài)：服務注冊情況、服務狀態(tài)、熔斷等。
組件內部狀態(tài)：活躍線程數、處理請求數等。
1）性能分析
微服務應用在API發(fā)布平臺中的性能分析規(guī)范
從響應時間，流量，失敗數，異常日志數等維度進行指標評價。
2）健康檢查
微服務應用在API發(fā)布平臺中的健康性檢查規(guī)范
對API的調用，請求，處理等是否按預定的流程運行進行檢查。
3）訂閱統(tǒng)計
微服務應用在API商店中訂閱數量、排名等參數分析
從訂閱量排名，使用量以及活躍度等維度進行數據進行分析。
4）訪問統(tǒng)計
微服務應用在API商店中調用質量、調用頻次、響應時間等的統(tǒng)計分析
為監(jiān)控API服務的調用情況，建設了API管理的監(jiān)控分析系統(tǒng)。API服務每次的調用情況都會在API網關有日志記錄，監(jiān)控分析系統(tǒng)通過各維度統(tǒng)計，分析不同指標，得出統(tǒng)計結果，比如API服務調用質量、調用頻次、響應時間、調用報文等圖表報告。
調用質量：調用成功失敗次數
調用頻次：時間范圍內調用次數統(tǒng)計
響應時間，API接口請求相應平均時間
5 系統(tǒng)集成方案
5.1 系統(tǒng)網絡拓撲
對一體化信息管理系統(tǒng)的網絡、硬件進行統(tǒng)一規(guī)劃設計，統(tǒng)一部署，避免信息孤島。搭建云平臺，采用虛擬化技術，按照招標人的要求，根據系統(tǒng)的軟件，進行資源的分配，提高系統(tǒng)的可靠性、安全性及穩(wěn)定性。
該網絡設計的特點：
1、實現一體化信息管理系統(tǒng)網絡的冗余，保證一體化信息管理系統(tǒng)網絡的可靠性、數據信息完整性。
2、采用高速通信網絡：保證大量生產實時信息高速無瓶頸的傳輸和交換，為企業(yè)內部數據中心的存儲訪問、外網數據的訪問，以及內外網數據/圖像等通信應用提供可靠、安全和高性能的傳輸平臺。
3、確保現場控制系統(tǒng)的安全性和一體化信息系統(tǒng)本身的安全性：采取安全網通、防病毒軟件、網關機、防火墻等安全防護措施，隔離一體化信息系統(tǒng)與控制系統(tǒng)網絡。
建成后的一體化信息管理系統(tǒng)網絡系統(tǒng)需要滿足如下需求：
1、網絡系統(tǒng)滿足企業(yè)職員日常工作需求，保證企業(yè)各應用管理系統(tǒng)正常高效率運行；
2、網絡提供數據、語音、視頻多媒體的傳輸能力,在技術上要采用最先進、成熟的網絡技術來滿足目前的網上應用需求,并考慮未來的發(fā)展；
3、網絡主干設備應選用高帶寬的、先進的萬兆位線速路由交換技術，能夠承載和交換各種信息；
4、網絡系統(tǒng)選用的硬件設備和軟件系統(tǒng)應當具有良好的性能價格比，網絡系統(tǒng)的日常管理和維護簡單方便，經濟實用，網絡拓撲結構和技術符合多媒體應用對主干網絡的要求；
5、網絡系統(tǒng)具有良好的可管理性,網管系統(tǒng)具有監(jiān)測、故障診斷、故障隔離、過濾設置、靈活實現用戶級別的設置等功能；
6、網絡QOS控制，確保企業(yè)關鍵應用的優(yōu)先級；
5.2 云計算虛擬網絡集成方案
通過分析云計算對傳統(tǒng)網絡基礎架構帶來的挑戰(zhàn)，我們可以從兩個方面來應對。一是通過構建高性能、高可靠的網絡，從而滿足云計算給網絡帶來的壓力；二是通過構建虛擬化網絡來滿足云計算中由于虛擬機部署、遷移 、以及安全策略實施對網絡提出的靈活性、安全性的要求。
總的來說，為滿足云計算的業(yè)務要求，數據中心網絡設計的四大要點包括：高性能交換、扁平化設計、虛擬化應用、透明化交換。通過合理的網絡設計最終實現云計算網絡“縱向通道虛化、橫向資源整合”的目標。
云資源池網絡架構的示意圖如下：
5.3 云計算基礎服務層
云基礎服務（IaaS）：在充分利用既有投資的基礎上，利用云計算池化技術，建設計算池、存儲池、網絡池、容災池，根據應用情況隨需拓展，實現動態(tài)拓展、按需分配，資源共享。
本系統(tǒng)采用國際領先的成熟大數據云計算技術；建立在私有云基礎上的大數據平臺，支持VMware vSphere等主流云操作系統(tǒng)，構建穩(wěn)定的基礎設施和服務平臺，平臺規(guī)模可實現彈性伸縮，處理運算能力隨平臺規(guī)模線形增長，以應對業(yè)務和技術的飛速增長。
（1）云平臺技術特點
1）云平臺核心技術具有國內自主知識產權，并具備保障系統(tǒng)運行的數據庫、操作系統(tǒng)等完整方案。針對數據分析、共享交換等應用，提供更高標準的安全防護措施。
2）云平臺充分兼容市面上常見的云計算接口，采用業(yè)界主流虛擬化技術；虛擬服務器的操作系統(tǒng)，支持主流操作系統(tǒng)；虛擬服務器支持主流中間件和數據庫等軟件產品。
3）云平臺設備采用成熟運用于國內云計算、大數據項目建設的國內知名品牌產品。
（2）計算資源虛擬化架構設計
服務器資源池化技術很好地解決了傳統(tǒng)服務器系統(tǒng)建設的問題，通過提高物理服務器利用率大幅度削減物理服務器購置需求、數量和運營成本；通過利用服務器資源池化中CPU、內存、IO資源的動態(tài)調整能力實現對業(yè)務應用資源需求的動態(tài)響應，提升業(yè)務應用的服務質量；通過在線虛擬機遷移實現更高的可用性和可靠性以及各種基于分析應用的跨物理服務器的調度等等。因此，服務器資源池化技術是新一代數據中心最理想的解決方案。
服務器虛擬化架構設計是服務器虛擬化技術運用的核心。服務器虛擬化架構設計直接決定了整個服務器資源體系對應用系統(tǒng)的承載能力、運行效率以及可靠性，必須根據行之有效的設計方法從多個方面和維度進行綜合考慮而得出。
6 機房和信息展示終端
如果我公司能有幸中標，根據市能源局的實際需求，依照機房建設標準建設模塊化標準機房，滿足大數據平臺建設需求。我公司依據實際情況配置展示顯示終端，建設高質量LCD大屏、信息調度臺、打印機和辦公桌椅等設備。
對機房防雷接地系統(tǒng)進行規(guī)范設計，保障終端設備的運行安全。
