- 產品背景
隨著科技的不斷發展，資訊化從IT時代邁入DT時代，資料量呈指數級增長，資訊資源爆炸式激增，各行業的決策者已經意識到了資料是企業的核心資產，并期望對資料進行存盤和挖掘以達到資產保值甚至增值的目的，然而，傳統的資訊資源管理、整合、應用技術已經無法應對大資料時代的挑戰，大多數企業在面對海量、異構、實時的大資料時，往往沒有足夠的技術能力和經驗，進行復雜的大資料處理，并支撐多元化的應用，
Gartner 2016年商業智能和分析平臺魔力象限報告提出，這幾年，全球商業智能與分析平臺市場經歷了從“IT主導的報表模式”往“業務主導的自服務分析模式”轉折的臨界點，Gartner給出資料分析的愿景是，人人都是資料分析師，人人都能分析資料，資料建模是資料分析程序中重要的一個環節，自助建模將是資料分析作業的未來趨勢，
- 市場需求
對于大資料的應用，大部分行業用戶普遍存在這樣的心態：不利用時覺得心慌，現在大資料如火如荼，感覺落后一步就要跌入深淵，想要上馬利用時卻又覺得迷茫：如何真正從全域出發，基于行業需求，整體架構以及應用角色和場景，讓資料發揮出最大價值？目前需要解決以下問題：
-
- 資料管理不到位
一是資料質量管理問題，資料質量直接影響業務績效，以及資料整合與綜合應用，需要建立質量監管和糾錯模式，加強統籌，完善協調機制和任務分工，確保資料資源準確、及時和完整，
二是資料存盤管理問題，大資料時代已經到來，待處理的資料資源，無論是結構化還是非結構化資料，在數量上呈幾何指數增長，傳統的存盤、備份、歸檔等技術與方法，已經不能滿足業務部門在空間、性能和安全性等方面的差異化需求，
三是資料整合管理問題，業務部門在各自領域均承擔著資料資源整合的職責，存在職能交叉和業務重復，資料管理分散，影響資料整體管理效率和開發利用效率，
-
- 資料融合不足
在資料融合方面，實作資料的跨網、跨平臺、跨系統間的深度融合，確保內部與外部、網上與網下、真實與虛擬的資訊有效整合，資料存在以結構化資料為主、半結構化為輔、非結構化資料增量巨大的特點，來源紛雜、型別多樣、標準不一、結構多元，資料接入整合難度較大，建立資料深度治理和標準化機制，進行系統化、倉儲化、精細化的分類管理，
-
- 應用深度不足
隨著資料資源的積累和爆發式增長，傳統方式的資料資源應用及服務方式已經無法滿足日益復雜的業務場景需求，一是資料綜合利用、增值服務意識有待加強；二是資料深層次挖掘不充分，面向業務發展和決策的綜合性資料分析與應用乏善可陳，無法支撐業務的快速開展，
其次，對于資料的處理和應用通常都極度依賴軟體開發，由于大資料的量大，多維度等特點，普通的資料處理（如：excel，access等）都已經無法滿足對于海量資料的加工處理，任何的資料應用都需要大量的軟體研發作為基礎，行動緩慢，更難以轉化為應用，直接影響的資料分析應用的發展，
此外，可用資料資源種類限制了應用的開展深度，資料資源的資料質量、資料更新的時效性、資料整合及服務支撐能力也限制了應用發展，智能化的應用深度即需要在業務上進行創新，也需要技術支撐上的突破，還需要相關機制的不斷完善，
總體而言，目前的資訊綜合應用深度還存在很大的不足，資訊資源價值和人工經驗都沒有得到充分發揮，
-
- 服務能力不足
隨著行業資訊化基礎條件的不斷完善和資訊化應用能力的快速提升，各業務部門渴望獲得范圍更廣、種類更多、功能更強大、回應更快、介面更靈活、運行更可靠、資料更鮮活的資訊服務和資料支撐，對資料服務人員提出了新的更高的要求，目前提供的服務方式僅限于查詢、小批量比對，缺乏深度的資訊挖掘，由于對海量資料的支撐技術手段不足，導致海量的有價值資訊無法進入綜合資源庫或者無法通過共享應用發揮作用，傳統技術手段已經無法滿足業務應用對資料服務的高性能、大批量、高可靠、易使用的需求，
-
- 傳統架構急需優化
隨著資料資源型別不斷增加，資料規模快速增長，服務物件范圍日益擴大，支撐資料資源庫的技術體系有待升級完善，
當前的資料種類和資料量與資源庫建設初期已經增長超過一個數量級，海量的動態軌跡類資訊成為資源庫難以承受的負載，
現有資料抽取整合與共享服務模式、介面技術與方法等，難以滿足日益增長和變化的業務需求；
資料資源存盤空間和設備處理能力，已趨于飽和，新的海量資料無法入庫，
資料資源日常管理與備份管理效率低，耗費人力資源大，
基于傳統技術體系構建的資料資源庫已經無法滿足“大資料”環境下日益增長的資料共享服務需求，迫切需要在技術架構上進行升級，
- 產品定義
- 產品概述
資料建模平臺系統是一站式全鏈路資料生命周期管家，幫助各個行業用戶管理資料資產并挖掘價值，平臺提供多源異構的資料采集模塊、實時/離線計算框架，簡潔易用的開發環境和平臺介面，為政府機構、企業、科研機構、第三方軟體服務商等客戶，提供大資料管理、開發和計算的能力，讓客戶最大化的發現與分析行業內部核心業務資料價值，挖掘現有業務和應用系統的潛在商機，培育完好的業務創新產業鏈，實作資料應用的完整倍訓，幫助客戶實作商業價值，
資料建模系統的核心組成部分，包括資料采集、資料治理、資料建模、資料介面及可視化工具，產品的主要作用為對下層資料進行抽取，然后對抽取資料進行資料治理，經過自助建模對大資料進行深度挖掘，將分析的結果資料提供給上層各業務應用，同時可以把分析好的成果資料通過可視化設計進行展示，為業務平臺提供資料支撐和可視化專題分析展示等，
資料建模分析流程
資料建模系統專注于多來源、碎片化資料的高效治理和可視化拖拽式建模應用，提供豐富、易用的資料治理工具，用戶可以快速對采集的海量資料進行資料結構標準化、資料分類編目等的規范化治理；實作可視化拖拽式的模型設計功能并集成多種演算法模型，極大的降低了建模的技術門檻，讓用戶可以輕松高效的完成建模作業；并提供豐富的可視化展示界面，支持PC、大屏等多種載體進行可視化展示，充滿科技感的頁面效果，將海量資料以用戶理解熟悉的方式進行展示，
-
- 系統架構
系統架構主要分四層，包括基礎支持層，資料管理層，資料服務層，行業應用層，
基礎支撐層：主要是圍繞支撐平臺運行的軟硬體環境，虛擬化環境，分布式大資料平臺環境，資料庫環境等等，
資料管理層：包括資料源管理（資料接入），資料治理，資料資產，演算法模型庫等模塊，
- 資料治理模塊為用戶提供資料清洗、篩選、并集、差集、交集、分組等工具，用戶可依據建模需要進行靈活組合進行資料治理作業，
- 資料資產模塊提供對檢索的資料資產目錄、資料映射功能、資料資產維護管理功能等，，
- 資料源管理提供對資料源連接及任務的管理，
- 模型演算法模塊提供歷史演算法庫、演算法維護、演算法共享等功能，
資料服務層：主要包括資料推送服務和資料可視化服務，
- 資料推送服務，支持定向定時推送成果資料到指定的資料庫（mysql\oracle）等，
- 資料可視化服務提供圖形化圖示軟體，可自由拖拽生產可視化面板，并進行資料展示等，可視化大屏場景共享發布，
行業應用層：各個行業業務軟體，通過接收資料建模系統進行資料治理和演算法模型生成的成果資料，結合他們的業務服務行業客戶，支持兩種集成模式，其一，資料集成，支持資料推送；其二，業務可視化集成，通過資料建模軟體可以根據業務需求定制可視化看板場景，然后把看板場景發布出來，通過行業業務軟體進行集成頁面，
-
- 目標用戶
資料建模系統主要行業及目標用戶群體包括科研教育、電商零售、物聯網、企業數字化、公安交管行業、智慧農業、橋梁監測、醫療行業等等，
- 科研教育：包括教學資料分析、科研資料分析、校園網物聯網資料分析、面向校級宏觀決策的資料分析等等，
- 醫療行業
1）通過對臨床資料的分析，對患者進行更有前瞻性的治療和斬訓，提高疾病的治療效果；
2）通過對最新的資料庫的分析提高對臨床決策的支持；
3）通過對統計工具和演算法的使用來改善臨床試驗的設計；
4）通過對大資料集的分析為個性化醫療提供支持；
5）通過優化業務決策支持，以確保醫療資源的適當分配；
- 金融行業
1）運營類:歷史記錄管理、多渠道資料整合分析、產品定位分析、客戶洞察分析、客戶全生命周期分析等，
2）服務類:個性化坐席分配、個性化產品推薦、個性化權益匹配、個性化產品定價、客戶體驗優化、客戶流失預警與客戶挽留等，
3）營銷類:互聯網獲客、產品推廣、交叉銷售、社會化營銷、渠道效果分析、差異化廣告投放等，四、資料分析在風險管理領域可應用于實時反欺詐、反洗錢、實時風險識別、在線授信等場景，
- 物聯網行業：物聯網資料分析提供豐富的資料可視化組件、常用統計分析方法及大資料分析工具，致力于降低資料分析門檻，助力物聯網行業應用，賦能行業，
- 公安交管：基于公安交管的人、車、物、手機、出行軌跡、住店資料等等，進行專業場景分析，構建業務資料模型，
- 企業數字化轉型：助力企業內部多源異構資料有效整合、清洗與梳理，進行資料資產沉淀，形成可輔助決策的分析模型，構建企業大腦，通過可視化大屏進行展示，
- 智慧農業：農情環境監測設備（傳感器、監測終端、傳輸終端）部署為基礎，在各類種植區域內部署多個監測點，對多項重要的環境要素進行監測，通過對這些資料進行有效的資料建模分析，實作獲取更多、更全、更實用的幫助農企、農戶種植進一步優化的可靠資料，
- 橋梁監測：基于橋梁監測中的物聯網資料，包括溫濕度、風速、混凝土內部溫度、橋梁受力、橋梁同行車輛資料等等，進行多維度挖掘分析，對橋梁進行有效實時監測，
- 電商零售：獲取電商資料及關鍵指標，深入洞悉市場趨勢，推動業務增長，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/439227.html
標籤：其他
上一篇：數字精英俱樂部介紹