一、技術要求

1.1 場景劃分

在工業領域的超大集團正處于轉型升級階段，其智慧企業的建設是宏大而復雜的系統工程，在這類超級專案中，我們將按照“3+2”的總體布局闡述智慧企業在實時業務規劃建設中所面臨的關鍵問題及解決方案，本文以風力發電的典型應用為例說明，

“3”是指3類場景，分別是：現場級、區域級、集團級，在風電領域，對應著：風電場、區域集控中心、總部大資料中心，

“2”是指貫穿3類場景的2個角度，分別是：資料交換和安全防護，

集團專案“3+2”總體布局

資料由邊緣端資料源流向總部大資料平臺的程序之中會遇到采集介面不統一、傳輸網路不穩定、原始資料管理無統一標準、各個環節的安全防護等一系列難題，相應的這類專案也會對負責資料接入、資料交換、實時處理的軟體提出較高的要求，

1.2系統要求

在集團級智慧企業專案的設計和實施程序中，對承載生產應用、實時業務的系統有如下要求，分為三類：

資料清洗/傳輸/接入/清洗/輸出要求 實時計算/告警/查詢/統計要求 可靠性/可用性/安全性/可擴展性/開放性/其他要求

二、典型場景

2.1 現場級

在風力發電領域中，“現場級”對應著“風電場”，

2.1.1問題現狀

目前風電場運行管理程序中存在著三大問題：

運營管理的問題：風機建設分散，不同風機的設備、環境、發電量也不同，公司管理人員需要隨時掌握各風機的運行情況；

運行維護的問題：各個風機所處自然環境惡劣，各設備供應商也不同，如果不能及時發現故障并檢修，就會影響發電量，從而造成經濟損失；

專業技能的問題：風電場地處偏僻，缺乏專業工程師，長期駐守現場的作業人員僅具備最基本的計算機操作能力，

要解決這些問題，就需要用到風電場SCADA系統，

2.1.2風電場SCADA系統

SCADA的英文是Supervisory Control And Data Acquisition，監控與資料采集，SCADA系統是一類功能強大的計算機遠程監控與資料采集系統，它綜合利用了計算機技術、控制技術、通信與網路技術，完成了對測控點分散的各種程序或設備的實時資料采集，本地或遠程的自動控制，以實作生產程序的全面實時監控，并為安全生產、調度、管理、優化和故障診斷提供必要和完整的資料及手段，

一般的SCADA系統由上位機和下位機及通信網路組成，隨著企業業務規模的不斷壯大及資訊技術的發展，第四代SCADA也就是多體系交融的大型SCADA系統，在結構上更加開放、兼容性更好、安全性更高、速度更快、智能程度更高，尤其近年來智慧風場中的大型遠程集中監控系統對規模、穩定性及開放性要求更高，現場級測點容量達到十幾萬點，用戶的需求越來越多樣化，用戶對系統的資料分析能力、自動化處理能力等智能應用要求越來越多，

下圖分別是SCADA系統的網路架構圖和系統方框圖：

風電場SCADA系統網路架構圖 風電場SCADA系統方框圖

其中，實時資料庫管理系統（以下簡稱實時資料庫）是SCADA系統的基礎，將采集的各類資料標準化管理，存盤全部生產運行資料，為上層資料監視、資料計算、統計分析等生產應用提供支撐，

2.1.3技術要求

（1）系統功能：包含全場監控、報警管理、報表管理、單機概況等，全場監控要求支持全場地理圖、全場風機串列等；報警管理要求支持實時報警、歷史報警、首出故障查詢、事故追憶、故障統計等；報表管理要求支持自定義報表、日報、月報、年報等，

（2）資料采集：指從風機的PLC、升壓站、測風塔進行資料采集，根據提供的點表遵照PLC自有協議、IEC電力規約，使用采集介面軟體將資料采集、存盤到實時資料庫中，要求支持電力行業標準通信協議；支持跨網閘部署和運行；支持斷點續傳等，資料的標準性、實時性、連續性、全面性、同步性、準確性是資料采集質量的基本要求，

（3）資料存盤：實時資料由采集介面軟體寫入實時資料庫進行存盤，在實時資料庫內部進行資料清洗、計算、壓縮、存盤等，要求支持海量資料存盤和管理；具備大規模資料并發處理能力；具備強大的補寫歷史功能；支持內置實時計算引擎；支持高效的資料查詢；具備高可靠性冗余解決方案；具備高安全性等，

（4）編輯發布：要求組態軟體提供功能強大的集成開發環境，具備豐富的元件倉庫與高級控制元件，同時具備功能完備的趨勢分析、報警報表、用戶權限管理等功能，實施人員可以通過簡單配置就可以針對不同風電場、不同設備實作自定義編輯，發布后的系統可以跨平臺部署、支持主流瀏覽器、支持豐富的互動式操作，給用戶帶來完美的操作體驗，

（5）查詢統計：要求系統支持實時資料訂閱功能、單測點一段時間的資料統計、多測點歷史時刻斷面資料查詢、歷史趨勢曲線查詢、歷史資料復雜條件查詢、風速頻率分析、風向頻率分析、有效風時數統計、等效利用小時數統計、可利用率統計等，

（6）互動介面：要求系統對外提供標準協議的互動介面，以回應本地單位和上級單位的資料需求，同時回應電網下發的調度控制指令，常見互動方式如：實時資料流推送方式、查詢請求回應方式、按自定義表格匯出檔案方式、提供標準ModbusServer回應讀/寫指令的方式等，

2.1.4 總結

以SCADA系統為起點做更廣泛的分析研究，可以發現部署在現場的系統是物聯網中的關鍵一環，這類系統的運行環境具有網路環境復雜、采集資料量大、實時性要求高、回應速度快等特點，如果把所有采集到的資料和需要做出的實時判斷都放在云計算中心處理，不僅會增加中心的處理壓力，還會因回傳結果經過復雜的網路傳輸而導致延時，所以，邊緣計算變得尤為重要，

通過邊緣計算手段，這類系統解決了云端資料洪峰，資料處理延遲高、效率低的問題，可在設備邊緣側對高頻采集的海量資料預先進行清洗、加工、聚合之后再上云，大大減少了資料傳輸成本，降低了資料處理的延時，提高實時回應速度，

2.2區域級

在風力發電領域中，“區域級”對應著“區域集控中心”，

在風電區域集控系統的早期發展中，借鑒了火力發電廠的廠級監控資訊系統（Supervisory Information System in Power Plant，以下簡稱SIS系統）解決方案，下面首先參考一下SIS系統的典型架構，

2.2.1 參考架構

火電廠為了提高生產效率，降低發電成本，在全廠范圍內建立統一的資料平臺，通過開發不同的介面軟體，將DCS、RTU等控制系統的生產資料集成到平臺的資料庫之上，然后在平臺上進行發電廠的性能計算、優化以及其他高級應用的開發作業，從而逐步建立起廠級監控資訊系統，積極推動企業資訊化的建設，

火電廠的SIS系統主要包括以下功能：

1. 實作全廠生產程序監視和管理

2. 為經濟負荷分配提供參考

3. 實時處理生產現場中與生產成本相關的資訊

4. 廠級性能計算和分析功能

5. 設備狀態檢測

6. 數學模型的建立和維護

SIS系統總體上包括三大部分：實時資料采集從底層DCS控制系統、SCADA系統中采集實時生產資料為系統提供實時資訊，是整個系統的基礎；實時資料庫是整個廠級資訊系統的核心，為上層資料監視、資料計算、分析優化和狀態檢測等功能提供應用平臺；建立在實時資料庫基礎上的功能應用，

火電廠SIS系統網路架構圖

2.2.2 問題現狀

直接將火電廠的SIS系統應用到風電區域集控中心顯然會水土不服，要建設適應于風電場景的區域集控系統，需要解決以下問題：

資料傳輸的問題：與火電領域的集中式發電設備不同，風場建設分散，所處位置交通、通訊不便，所以集控中心的監控系統從一開始就是遠程模式的，在網路質量差、傳輸帶寬窄的條件下，還要保證資料傳輸的實時性、完整性、保密性，帶寬資源按需分配，優先保證實時業務不受影響；

安全防護的問題：電力關系到國家安全，火電領域制定的安全管理規范被繼承過來，從負責生產的管控層到負責運營的經營層，必然要經過世界上最嚴格的隔離防護環節，以確保絕對的安全，不僅風電場有單向隔離，在集控中心也有單向隔離，網路環境更加復雜；

規模增長的問題：火電廠的發電能力在設計時便已確定，而風電場的數量則一直保持高速增長，為避免不斷推翻重復建設問題，要求系統有足夠的上限余量和擴展能力，而且容量增加后，系統性能不能明顯下降，要始終滿足生產應用的實時性要求；

海量資料的問題：傳統火電廠的測點規模一般為10萬點，這相當于一個風電現場的測點數量，在集控中心的測點規模已達到50萬，而且未來兩年將達到平均200萬點的規模，采集頻率由10秒、5秒進一步提高到1秒，也就是說每秒產生200萬條記錄，存盤5~10年海量歷史資料，這對歷史資料的對比分析、統計分析、挖掘計算等會是巨大挑戰，

統一管理的問題：隨著發電單元的逐漸增多，集控中心對現場基層單位的綜合管理要求也將越來越高，各轄區設備型別繁多，現有各設備廠商提供的SCADA系統均由各制造商配套，現場級的SCADA系統已經無法滿足管理需求，

2.2.3 風電區域集控系統

在風電區域集控系統中，連同現場一起的整體區域分為安全Ⅰ區、安全Ⅱ區、生產管理Ⅲ區、管理資訊Ⅳ區，

風電場SCADA系統將各個現場的生產資料發送給部署在集控中心的實時資料庫前置集群，傳輸程序中要克服帶寬窄、網路不穩定、資料頻率高等問題，同時保證資料不丟失、不被破解、不被篡改，集控中心收到資料后由實時資料庫進行過濾壓縮、實時計算等任務，同時支撐管控層的實時監控應用；之后通過實時資料庫（生產管理Ⅲ區，鏡像發送）的鏡像功能穿過單向隔離網閘，將資料實時同步到經營層的實時資料庫（管理資訊Ⅳ區，鏡像接收）中，該庫同時支持經營層的應用和對接Hadoop平臺，將分散的資料按照業務需求打包格式化并實時轉換輸出，通過分布式訊息佇列發送到Hadoop平臺中，通過Hadoop平臺中的組件及拓展模塊程式完成應用的計算，平臺整體采用松耦合的部署架構，

資料平臺前置實時資料庫確保大資料平臺接收資料的實時性和可靠性，支撐實時觸發類計算和遠程風機設備控制類邏輯，同時確保歷史資料的完整性，而大資料平臺中的HDFS、YARN 、Impala、Zookeeper、Spark、Flume、Kudu、Sqoop、Solr、Kafka等共同支撐機器學習、高級模型計算、高級系統分析、績效指標系統等各類發電行業內應用，實作實時報警系統、啟停預判系統和故障預警及預測性服務三大業務目標，

風電場及集控中心網路拓撲圖

2.2.4系統要求

整體上看，區域集控系統可以看成是更大規模的SCADA系統，把各個廠家的SCADA系統的功能和資料都放到統一管理平臺，從而逐步實作現場的少人值守/無人值守，所以，除了SCADA系統原有的要求外，其系統要求可總結如下：

1. 建立各廠家不同監控系統的統一管理平臺

2. 實作對不同廠家設備運行狀況統一管理

3. 建立更有效的檢修及維護方式，實作集中遠程監控

4. 提供靈活豐富的報表及直觀的圖形化的資料分析

5. 在低配網路下保證資料傳輸的實時性、完整性、保密性

6. 實作設備的遠程控制，減少現場作業量

7. 實作跨安全隔離裝置的資料傳輸

8. 建立大容量、高性能的資料管理平臺

2.2.5總結

區域級處于現場級和集團級中間，大家爭議最多的地方是這一級應該放到資料鏈路的哪個環節，本文所講的是現場級→區域級→集團級，這也是絕大部分企業采用的架構；另外一種則是現場級→集團級→區域級，所有資料大集中統一管理，然后再分發資料，個別企業采用這種架構，

就風力發電行業來說，本文認為第一種架構是最合適的，生產為大，經營次之，承擔生產任務的是現場級、區域級，如果現場實作無人化管理，那就只有區域級承擔壓力了，有壓力才能把所轄業務做精做強，帶來生產力的提升，如果資料都要從集團獲取，作為各個業務統一的大平臺，它很難為各區域不同業務需求靈活調整，而且集團不再生產一線，生產考核壓力小，那區域級的進步就會受到各種因素阻礙，

2.3集團級

在風力發電領域中，“集團級”對應著“總部大資料中心”，

2.3.1 建設要求

發電集團總部管控中心資料平臺的建設一般有以下建設要求：

1、企業私有云

（1）采用企業私有云技術，為軟體開發、測驗、運行提供物理資源；

（2）融合多種資料結構、格式，進行二次加工分析；

（3）采用大資料分析技術，從高頻率、大容量的資料中獲取更高價值，

2、從總部層面實作管控資料大融合

（1）發電量與生產經營效益融合分析；

（2）生產指標資料與企業經營目標資料融合分析；

（3）資源與生產效益融合分析，

3、實作設備狀態的深度分析

（1）聚焦發電設備性能的研究，建立風機性能評價體系；

（2）運用功率曲線方法挖掘發電設備潛力；

（3）量化的資料統計、分析及報表機制，

最終目標是使集團能夠科學研判發展形勢，準確把握產業方向，及時感知經營風險，不斷提高決策水平，

2.3.2 問題現狀

“總部大資料中心”并不是簡單意義上“區域集控系統”的放大版，他面臨著其特有的問題：

資料傳輸的問題：區域到集團的網路鏈路大部分是專網專線，雖然距離更遠，但網路質量好、傳輸帶寬足夠，真正的挑戰是每個區域的資料量已經非常龐大，海量資料穩定傳輸是基本要求，要考慮縱向加密和傳輸壓縮、支持多資料中心架構、靈活回應集團的各種資料需求、不同種類資料采用不同的傳輸策略，在中心節點的接收端必須承擔巨大壓力；

標準化的問題：集團的業務都是跨多個行業領域，來自不同廠家設備所提供的測點名稱、機組狀態等資訊均不統一，不同業務系統對設備的定義也不一致，不同業務的資料如果不經過標準化，那對應用層的統計、分析、挖掘、對標與評價帶來極大不便；

安全防護的問題：集團全網的安全防范體系要覆寫到每一個節點和物理鏈路，在網路安全、主機安全、資料庫安全等方面都要做到全面防護，整體規劃設計非常重要，在網路、主機、資料庫的選型時要依照對應的安全評價要求確定準入名單， 任何一個環節的疏忽都可能帶來極大的風險隱患，

2.3.3系統架構圖

各地區域集控中心的資料匯總到總部大資料中心，如下圖所示：

基于實時資料庫的集團級傳輸架構

在滿足集團網路安全防護的要求下，基于實時資料庫的資料鏡像功能構建貫通上下的資料傳輸平臺，資料鏡像是指一個實時資料庫可將指定標簽點的資料自動同步至另一個實時資料庫中，并一直保持同步更新，支持歷史資料的修訂或補采，支持用戶的重新定義，此外，在資料鏡像程序中實作資料標準化，在總部執行統一的設備編碼標準，

總部大資料中心融合實時資料庫、關系資料庫、Hadoop、Spark等資料管理技術，實作集團資料資產管理，提供大資料應用和資料分析計算模型，

總部大資料中心融合架構圖

電力領域的資料多為實時傳感資料（即時間序列資料），每臺設備和傳感器以分鐘級、秒級甚至毫秒級周期將實時資料寫入大資料中心，這對大資料中心的技術要求極高，需要通過專業的高性能實時資料庫做接入，具備處理海量時間序列資料的技術、實時并行計算的技術、實時過濾壓縮的技術，解決針對海量實時資料快速接入、實時計算、過濾壓縮的復雜需求，此外，Hadoop從設計上專注于批處理，對于有些對時延有高要求的業務不能勝任，所以Hadoop主要承擔海量歷史資料分析挖掘類的業務，

2.3.4技術要點

（1）資料清洗技術

在大資料云平臺，通過分布式的實時資料庫前置集群接收現場系統上傳的實時資料，并進行統一映射和資料清洗，從而有效解決海量實時資料的接收和處理，

方案優點：

• 資料集中清洗，規則統一維護，規則的變化便于管理和二次清洗

• 規則變化后，對歷史資料也可以一致的處理

• 如需保存原始資料和清洗后資料，區域集控只需上傳一份，減輕傳輸壓力

（2）實時算力前置

電力大資料中需要涉及到大量的資料實時分析、研判場景，需要具備高容錯、高安全、高吞吐以及滿足復雜業務場景的實時計算系統，持續對輸入的資料進行計算，基于實時資料庫承擔實時計算業務主要有以下好處：

• 沒有中間環節，不受網路IO、磁盤IO限制，簡單高效

• 允許用戶不用高級語言，只簡單方便的輸入公式，就可得到結果值

• 支持多層依賴，快取中間計算結果，避免重復計算

• 除了實時資料流，可方便獲取歷史統計資料參與計算

（3）區域到集團的資料交換

區域到集團的資料交換涉及到的用戶和機構單位存在上下級關系，在集團用戶的資料網路中存在海量設備資料的共享、交換需求，網路拓撲結構如下圖所示，

在區域集控中心，通過多個實時資料庫級聯，將生產區、管理區資料實時同步，同時支撐各區應用；在集團總部大資料中心，將多個區域集控中心的資料匯總到一起，轉發至存盤系統中，支撐集團級監控應用，匯總的資料還可繼續向后級聯，可用于開發測驗、資料分析挖掘等等，使用實時資料庫的資料交換功能帶來的好處是：

• 海量資料穩定傳輸，能夠7*24支持海量資料吞吐

• 支持縱向加密和傳輸壓縮，保證安全性，節省傳輸帶寬

• 不用種類資料采用不同的傳輸策略，支持優先級調度

區域到集團的資料交換網路架構圖