大資料概論
- 第 1 章 大資料概念
- 第 2 章 大資料特點（4V）
- 1、Volume（大量）
- 2、Velocity（高速）
- 3、Variety（多樣）
- 4、Value（低價值密度）
- 第 3 章 大資料應用場景
- 第 4 章 大資料發展前景
- 第 5 章 大資料部門間業務流程分析
- 第 6 章 大資料部門內組織結構
第 1 章 大資料概念
大資料（Big Data）：指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的資訊資產，
大資料主要解決，海量資料的采集、存盤和分析計算問題，
按順序給出資料存盤單位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB，
1Byte = 8bit 1K = 1024Byte 1MB = 1024K 1G = 1024M 1T = 1024G 1P = 1024T
第 2 章 大資料特點（4V）
1、Volume（大量）
截至目前，人類生產的所有印刷材料的資料量是200PB，而歷史上全人類總共說過的話的資料量大約是5EB，當前，典型個人計算機硬碟的容量為TB量級，而一些大企業的資料量已經接近EB量級，
2、Velocity（高速）
這是大資料區分于傳統資料挖掘的最顯著特征，根據IDC的“數字宇宙”的報告，預計到2025年，全球資料使用量將達到163ZB，在如此海量的資料面前，處理資料的效率就是企業的生命，
天貓雙十一：2017年3分01秒，天貓交易額超過100億，2020年96秒，天貓交易額超過100億
3、Variety（多樣）
這種型別的多樣性也讓資料被分為結構化資料和非結構化資料，相對于以往便于存盤的以資料庫/文本為主的結構化資料，非結構化資料越來越多，包括網路日志、音頻、視頻、圖片、地理位置資訊等，這些多型別的資料對資料的處理能力提出了更高要求，
4、Value（低價值密度）
價值密度的高低與資料總量的大小成反比，如何快速對有價值資料“提純”成為目前大資料背景下待解決的難題，
第 3 章 大資料應用場景
1、抖音：推薦的都是你喜歡的視頻
2、電商站內廣告推薦：給用戶推薦可能喜歡的商品
3、零售：分析用戶消費習慣，為用戶購買商品提供方便，從而提升商品銷量，
經典案例：紙尿布+啤酒，
4、物流倉儲：京東物流，上午下單下午送達、下午下單次日上午送達
5、保險：海量資料挖掘及風險預測，助力保險行業精準營銷，提升精細化定價能力，
6、金融：多維度體現用戶特征，幫助金融機構推薦優質客戶，防范欺詐風險，
7、房產：大資料全面助力房地產行業，打造精準投策與營銷，選出更合適的地，建造更合適的樓，賣給更合適的人，
8、人工智能 + 5G + 物聯網 + 虛擬與現實
第 4 章 大資料發展前景
1、黨的十九大提出“推動互聯網、大資料、人工智能和物體經濟深度融合”，
2、2020年初，中央推出34萬億“新基建”投資計劃
3、下一個風口
2020年是5G的元年，國家在大力鋪設5G設備，2021年就是5G手機應用的開始，也是大資料要爆發的1年，
5G帶來的是每秒鐘10g的資料，會給每家公司都帶來海量的資料，那么傳統的Java工具根本解決不了海量資料的存盤，就更不用說海量資料的計算了，
如果你對5G的感觸不夠深，可以回憶一下3G和4G的區別，3G時只能打電話、發短信，當時還覺得很好，覺得3G不錯，但是4G來了后，大家很少打電話和發短信了，都改為語音、視頻、直播、網上購物等生活方式，帶火了淘寶、京東、美團、位元組跳動等企業，
沒有跟上節奏的百度，有點搖搖欲墜，
自古不變的真理：先入行者吃肉，后入行者喝湯，最后到的買單！
4、人才緊缺、競爭壓力小
有句話叫：“選擇大于努力”選擇一個好的方向，少奮斗十年，是否記得國家在2017年才開設大資料課程，當時是北京大學、人民大學等25所高校開設第一批大資料課程，今年才2021年，也就是今年才畢業，那么像Java、前端大學已經開設多少年了，包括培訓班都加在一起，10多年，可想而知目前市場上，Java和前端的人才有多少，
大資料的人才目前除了培訓機構培養的，沒有真正的科班畢業，而且真正能培養好大資料人才的培訓機構又有幾個， 所以目前選擇大資料是最佳選擇，
5、Boss直聘網站上的部分大資料工程師薪水如下
第 5 章 大資料部門間業務流程分析
第 6 章 大資料部門內組織結構
加油!
感謝!
努力!
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/297438.html
標籤：其他