摘要：物聯大資料已成為當前物聯網系統建設的核心，基于物聯大資料的涌現智能和應用以及借此對物理世界的反饋和控制是未來物聯網系統的建設目標，
本文分享自華為云社區《基于云原生的物聯大資料智能服務》，作者：趙卓峰 、丁維龍 、于淇 / 北方工業大學資料工程研究院、大規模流資料集成與分析北京市重點實驗室，
前言：
隨著智慧城市、工業互聯網等產業的迅速發展，物聯網應用也正由離散的、示范性應用逐步走向多層次、規模化應用，并且深度融入人類社會的生產生活各個環節，物聯大資料指的就是來自設備和傳感、體現物理世界狀態的一類大資料，如今，每當人們談及物聯網，聯想到的已經不只是物理設備連接構成的網路，其背后還存在一個巨大的復雜資訊/資料網路，而物聯大資料正是這個復雜資訊網路的核心之一，區別于傳感器、傳感網等傳統物聯網這些“前端”內容，而基于物聯大資料的涌現智能和應用以及借此對物理世界的反饋和控制，正逐漸成為物聯網關鍵構成的“后端”，
當前，物聯大資料相關的物聯網“后端”自主產權平臺、工具和應用框架是我國當前短缺的核心軟體，而這些不只是工業互聯網、智慧城市、5G新型應用的基石，也是國家規劃發展的多個高精尖產業的基礎，物聯大資料變化快且頻度各異，隨時間變化價值會衰減且關聯關系會變化，其動態集成、流批資料融合、全生命周期管理、跨域共享和有效利用、眾多工具軟體集成都是共性痛點問題，造成應用開發難、更新難、互通性差、運維成本高、“資訊孤島”現象加劇，這些都要求我們開辟新的思路和技術路線來應對未來物聯大資料產業及應用的迅猛發展，
物聯大資料智能服務
從物聯網“后端”來看，物聯網可以看作是一個基于互聯網的，以提高物理世界的運行、管理、資源使用效率等水平為目標的大規模復雜資訊和智能服務系統，由于物聯網“前端”在對物理世界感應方面具有高度并發的特性，并將產生大量引發“后端”深度互聯和跨域協作需求的事件，從而使得上述物聯大資料智能服務表現出以下性質：
不可預見性，對物理世界的感知具有實時性，會產生大量不可預見的事件，從而需要應對大量即時協同的需求；
涌現智能，對諸多單一物聯網智能應用的集成能夠提升對物理世界綜合管理的水平，物聯網“后端”是產生放大效應的源泉；
多維度動態變化，對物理世界的感知往往具有多個維度，并且是不斷動態變化的，從而要求物聯網“后端”具有更高的適應能力；
大資料量和實效性，物聯大資料具有海量、實時、不間斷、價值不一等特征，對物聯網后端資訊處理帶來分布式、可伸縮運行支撐環境要求，
近年來，雖然云計算、大資料、人工智能技術發展蓬勃，但仍存在著軟體技術離散，系統集成化能力不足，資料共享和應用開發手段不夠靈活、可控和易用，以及新興技術和模型與領域業務結合方法缺失等問題，具體地，如何有效地匯集、組織、共享、利用這些物聯大資料成為各類新型智慧行業建設的關鍵，
相對于以人為中心的互聯網資料，物聯大資料面向物理世界，來自不同型別的設備，具有高吞吐量、時變連續、資料多源、時空相關、關聯復雜、價值密度不均衡等鮮明特征，在具有巨大潛在價值同時也給應用建設帶來了巨大困難，突出表現為三方面的挑戰性問題：
（1）現有軟體體系結構與集成需求失配問題，尤其是離散的軟體堆疊和復雜運行支撐環境難以集成；
（2）傳統系統構建模式和物聯網復雜系統新特征的矛盾問題，特別是不確定性大資料應用需求難以快速回應；
（3）行業應用實施難度大、代價高、周期長的問題，尤其是行業用戶仍舊難以有效參與和互動，領域知識仍難以復用，
綜上所述，實時感應、高度并發、自主協同和涌現智能等特征要求從新的角度審視物聯網“后端”資訊基礎設施，對當前云計算、云原生（包括容器、微服務、服務網格等）的研究提出了新的挑戰，需要有針對性地研究物聯大資料特定的應用集成和智能服務問題、體系結構及標準規范，特別是大量高并發事件驅動的應用自動關聯和智能協作問題，
云原生下的物聯大資料智能服務研究趨勢
云原生是云計算的熱點發展方向，其以容器、微服務、DevOps等技術為基礎建立了一套新的云技術產品體系，強調應用的設計、實作和部署運維等方式應充分適應并利用及發揮云計算平臺分布式、按需服務、彈性伸縮等特點，云原生可以物聯大資料智能服務帶來諸多必要的支撐和有益的基礎，為此，我們需要有針對性地研究云原生背景下物聯大資料特定的智能服務、應用集成、體系結構及標準規范等問題，特別是大量高并發事件驅動的應用自動關聯和智能協作問題，
云原生下物聯大資料運行環境
物聯大資料處理涉及流式處理、批處理、流批混合處理等不同模式，同時需要大量結合新興人工智能技術的物聯大資料分析，這些處理和分析依賴MapReduce、Spark、Flink等不同計算模型和多樣化機器學習模型，需要復雜的軟硬體運行支撐環境，當前這些環境也大都沒有采用微服務的架構設計，因此何建立一套融合物聯大資料處理和分析需求的容器云及微服務管理與調度系統就成為一個關鍵挑戰，
云原生下物聯大資料服務體系
在物聯網系統中將軟體的實作與運維和用法相關部分（稱為物聯網服務）剝離，并納入到云原生基礎設施中（也是云計算的本質所在），這是大勢所趨，針對物聯大資料需求特征的優化策略、優化方法和涌現智能也將更多地以服務及服務組合的形式體現，如何設計與提供物聯大資料服務已成為構建物聯網應用和進行業務演算的基石，這些物聯大資料服務的新形態，進一步推動云原生下服計算等相關學科的發展，
云原生下物聯大資料系統的超級自動化
物聯網智能服務發展期望能夠實作大量高并發事件驅動的應用自動關聯、智能協作和主動服務，超級自動化被Gartner連續三年列為戰略級趨勢，其在物聯網背景下可以理解為通過一系列技術打通資料流、控制流、事件流、協作流，打破碎片化物聯網資料及應用的壁壘和孤島，有助于幫助“數字孿生”的真正落地，如何在現有DevOps方法和服務編排技識訓礎上，使能最終用戶“編程”實作超級自動化成為一個發展熱點，
基于云原生的物聯大資料智能服務平臺
為了應對上述發展，需要探索基于云原生的物聯大資料智能服務平臺，在云原生背景下就去中心化的平臺體系結構、主動式物聯網資料服務的理論與模型、流批融合處理的云原生技術、基于行業服務庫的集成應用開發框架等方面開展研究，物聯大資料智能服務平臺以物聯大資料的接入、管理、計算、應用和維護的“接、管、算、用、維”的生命周期為主線進行設計，涵蓋了多源異構物聯大資料的接入與匯聚服務、存盤與共享服務、混合處理計算與分析服務、云原生基礎設施服務等內容，總體的平臺架構設計如圖1所示，
云原生基礎設施服務
物聯大資料智能服務平臺主要核心功能定位如下：可根據運行時負載實作資料接入、存盤、計算、分析等服務的自動部署與遷移，資料驅動資源虛擬化，通過虛擬機/容器的調度與優化，實作性能快速彈性伸縮，依托云原生技術手段，基于微服務架構來提高整個系統的靈活性和擴展性，借助敏捷方設施服務法、DevOps支持持續迭代動態調度、優化資源利用率，
多源異構資料接入與匯聚服務
應對多源異構資料的大規模并發、高吞量接入和多樣化匯聚等挑戰，支持多源資料并行接入對接收到的實時通信資料進行校驗與決議，分揀不同型別實時資料，采用發布/訂閱訊息模型，通過總線實作了資料匯聚，并與存盤與共享服務及計算服務間的資料傳輸，通過云原生實作對并發的伸縮管理與可靠性保障
物聯大資料存盤與共享服務
通過NoSQL存盤實作海量的結構化資料和相關檔案的管理，對歷史資料的快速查詢及提取，支持海量資料的實時存盤與維護，面向多用戶的資料進行組織、索引與管理，通過云原生實作對存盤的伸縮管理與可靠性保障，
物聯大資料計算與分析服務
支持基于大規模物聯感知資料的批量計算和流式計算，提供透明化并行計算編程模型，支持多計算任務的調度執行并提供不間斷計算能力，大幅減少感知資料計算任務的開發復雜度和開發周期，通過云原生實作對計算的伸縮管理與可靠性保障，
物聯大資料開放介面及開發框架服務
能夠按照不同的物聯網應用領域表示和組織相關的服務資源，同時根據業務協作需求實作跨域的服務自動關聯，并支持用戶快速實施基于感知資料的創新應用與服務交付，支持應用的快速開發與部署執行，通過基于云原生的開放介面實作的物聯大資料應用快速發布與迭代的DevOps方法，
我們的作業
社會各類基礎設施的發展都經過上百年還未完善，同樣可以斷定，物聯網“后端”的發展完善也是一個長遠的事情，因此，人們不能把云原生的愿景當作現實，我們建議在考慮長期戰略目標的同時，以價值和典型應用為牽引，先建立特定領域中統一運營的“行業物聯網云原生”和第三方（非物聯網應用建設方或資料所方）運營中心，以實作資源優化利用以及跨域的資源共享和應用集成，作者所在的大規模流資料集成與分析技術北京市重點實驗室，自2011年開始，針對物聯網大資料高吞吐量、時變連續、資料多源、時空相關、關聯復雜、價值密度低等特征，在著力提升流批融合的物聯大資料集成化處理能力的同時，以支持物聯網大資料的動態集成與可控共享為重點，創新性地提出了利用服務提升價值密度和可控性、利用服務共享實作資料共享、利用服務超鏈實作主動式事件路由和聯動、利用行業服務庫不斷學習業務模式的DeCloud路線，并重點研發面向物聯網背景下行業大資料“接、管、算、用、維”全生命周期的物聯大資料智能服務平臺DeCloud，形成具有自主知識產權的軟體產品體系，同時，特別結合交通（包括城市、城際和海上交通，如圖2所示）和電力（包括電廠、電網）兩個典型行業領域開展行業物聯網大資料開發框架和實施方法研究，嘗試打通了從“離散資料匯聚”到“集成化資料服務提供”到“基于服務的探索分析”再到“行業業務模型建立”的行業物聯網大資料價值鏈，
小結
物聯大資料已成為當前物聯網系統建設的核心，基于物聯大資料的涌現智能和應用以及借此對物理世界的反饋和控制是未來物聯網系統的建設目標，云原生作為云計算的新興發展方向，其分布式、按需服務、彈性伸縮等特點可以對物聯大資料智能服務的發展提供諸多必要和有益的支撐，為此，我們需要有針對性地研究云原生背景下物聯大資料特定的智能服務、應用集成、體系結構及標準規范等問題，從云原生下物聯大資料運行環境、云原生下物聯大資料服務體系、云原生下物聯大資料系統的超級自動化等方面開展研究，積極探索基于云原生的物聯大資料智能服務平臺建設與應用驗證作業，
點擊關注，第一時間了解華為云新鮮技術~
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/552705.html
標籤：其他
下一篇：返回列表