大資料具有四個特征：
資料量大(Volume)
大資料的起始資料單位至少是拍位元組(約1000個太位元組)、艾位元組(約1000個拍位元組)或澤位元組(約1000個艾位元組)，
型別繁多(Variety)
大資料的資料格式是多樣化的，如文字、圖片、視頻、音頻、地理位置資訊等，資料也可以有不用的來源，如傳感器，互聯網等，
價值密度低(Value)
隨著物聯網的廣泛應用，資訊感知無處不在，資訊海量，但價值密度較低，例如監控視頻，在連續不斷的監控中，有用的資料可能僅有一二秒，如何通過強大的計算機更迅速的完成資料的價值“提純”成為目前大資料背景下亟待解決的問題，
速度快，時效高(Velocity)
速度快這一點是大資料區分與傳統資料挖掘最顯著的特征，到目前2020年，全球資料使用量達到了大約35澤位元組(35ZB)，另外資料還具有一定的時效性，是不停變化的，資料量可以隨時間逐漸增大，也可在空間上不斷移動變化的資料，如果采集到的資料不經過流轉，最侄訓過期作廢，(如資料處理軟體達不到”秒”處理，所帶來的商業價值就會大打折扣)，
大資料身邊的應用案例：
大資料在醫療領域的應用
醫療行業很早就遇到了海量資料和非結構資料的挑戰，而近年來很多國家都在積極推進醫療資訊化發展，這使得很多醫療機構有資金來做大資料分析，
大資料在零售和電商行業的應用
零售行業可以利用大資料技術進行精準營銷，例如，商家可以更具客戶消費喜好和趨勢，進行商品的精準營銷，降低營銷成本，在未來，電商還可以利用大資料預測流行趨勢、消費趨勢、地域消費特點、客戶消費習慣、各種消費行為的相關熱度、消費熱點、影響消費的重要因素等，
大資料在金融行業的應用
大資料在金融行業應用范圍較廣，大資料在金融行業的應用可以總結為以下5個方面：精準營銷，風險管控，決策支持，效率替身，產品設計，
大資料在交通出行領域的應用
目前，交通領域的大資料應用主要體現在兩個方面，一方面可以利用大資料來實作即時信號燈調度，提高已有線路運行能力，另一方面通過大資料了解車輛密度，合理進行道路規劃，
大資料在教育領域的應用
大資料教育領域的應用主要集中在自適應個性化學習、英語語音測評、教育機器人、只能陪練、分級閱讀等幾個方面，
大資料在制造業的應用
在未來，利用工業大資料將提升制造業水平，主要集中在產品故障診斷與預測、分析工藝流程、改進生產工藝、優化生產程序能耗、工業供應鏈分析與優化、生產計劃與排程等方面，
大資料的處理流程：
資料收集
大資料的采集不是抽樣調查，它強調資料盡可能完整和全面，盡量保證每一個資料精確有用，對于Web資料，多采用爬蟲方式進行收集，這需要對爬蟲軟體進行時間設定以保障收集到的資料具有時效性，(資料的采集技術有ETL工具，如Sqoop等、日志采集工具(如Flume，Kafka等))，
資料預處理與存盤
大資料收集來的資料會有很多重復資料、無用資料、噪聲資料，會有資料值缺失和資料沖突的情況等，所以需要對資料進行預處理和清洗，(預處理環節主要包括資料清理、資料集成、資料歸約、資料轉換處理等內容)
資料處理與分析
資料處理，資料的分布式處理技術與存盤形式和業務資料型別相關，大資料處理的主要模型有MapReduce分布式計算框架、Spark分布式記憶體計算系統、Storm分布式流計算系統等，
資料分析，大資料分析技術包括已有資料的分布式統計分析技術和未知資料的分布式挖掘、深度學習技術三種，分布式統計分析可由資料處理完成，分布式挖掘和深度學習則在大資料分析階段完成，
資料可視化與應用環節
資料可視化是指將大資料分析與預測結果以計算機圖形或影像的直觀方式顯示給用戶的程序，并可與用戶進行互動式處理，所以，大資料可視化是影響大資料可用性和易于理解性質量的關鍵因素，
大資料、云計算、人工智能的關系：
云計算與大資料
大資料必然無法用單臺的計算機進行處理，必須采用分布式架構，它的特色在于對海量資料進行分布式資料挖掘，所以它必須依托云計算的分布式處理、分布式資料庫、云存盤和虛擬化技術，云計算的應用需要大資料，而云計算則為大資料的處理和資料挖掘提供了最佳的技術解決方案，整體來看是相輔相成，不斷發展的關系，
大資料與人工智能的關系
如果把人工智能比作一個無限潛力的嬰兒，某一領域專業的海量的深度的資料就是喂養這個嬰兒的奶粉，奶粉的數量決定了嬰兒是否能長大，而奶粉的質量則決定嬰兒后續的智力發育水平，
但是不是所有問題只要有，就能夠做到這么好，這要受限于4個條件限制：首先是需要有大量的資料，第二是完全資訊，第三是確定性，第四是但領域和單任務，只有這4個限定條件滿足后才有可能做到達到或者超過人類水平的人工智能，
大資料分類存盤的方式：
存盤主要利用分布式檔案系統、資料倉庫、關系資料庫、NoSQL資料庫、云資料庫等，實作對結構化、半結構化和非結構化海量資料的存盤和管理，
大資料如何進行預處理：
資料清理
對資料的不一致檢測、噪聲資料的識別、資料過濾與修正等，
資料集成
將多個資料源的資料進行集成，從而形成集中、統一的資料庫、資料立方體等，
資料歸約
在不損害分析結果準確性的前提下降低資料集規模，使之簡化，包括維歸約、數量規約、資料抽樣等技術，
資料轉換處理
包括基于規則或元資料的轉換、基于模型與學習的轉換等技術，可用過轉換實作資料統一，有利于提高大資料的一致性和可用性，
————摘自北京郵電大學出版社的《大資料導論第一版》
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/225049.html
標籤：大數據
上一篇：1.大資料概述