第1章大資料概述-有解無憂

1.1 資訊與資料

1、資訊

人們對于客觀事物屬性和運動狀態的反映，
資訊所反映的是關于某一客觀系統中，某一事物的存在方式或某一時刻的運動狀態，
資訊可以通過載體傳遞，可以通過資訊處理工具進行存盤、加工、傳播、再生和增值，
在資訊社會中，資訊一般可與物質或能量相提并論，它是一種重要的資源，

2、資料（data）

資料的定義：
- 是反映客觀事物存在方式或運動狀態的記錄，是資訊的載體，
- 從計算機的角度看，資料泛指那些可以被計算機接受并能夠被設計算機處理的符號，是資料庫中能夠存盤的基本物件，
- 資料是對現實世界簡化和抽象地表達，當今科技的發展，資料獲取及存盤方式已經發生了根本性的變化，資料資源已經成為了一種“能源”，一種“生產力”，
資料的特征
- 資料有“型”和“值”之分
- 資料使用收資料型別和取值范圍的約束
- 資料具有多種的表現形式
- 資料具有明確的語意

1.2 資料庫

1、資料庫的定義

是以一定的組織方式將相關的資料組織在一起，長期存放在計算機內，可以為多個用戶共享，與應用程式之間彼此獨立，統一管理的資料集合，
資料庫的資料庫系統的核心部分，是資料庫系統的管理物件，
資料庫的性質是有資料模型決定的，
- 若資料庫中資料的組織支持層次模型的特性，則該資料庫為層次資料庫；
- 若資料庫中資料的組織支持網路模型的特性，則該資料庫為網路資料庫；
- 若資料庫中資料的組織支持關系模型的特性，則稱為關心型資料庫，

2、資料庫特性

資料按一定的資料模型組織、描述和存盤
可為多用戶共享
冗余度較小
資料獨立性較高
易擴展

3、資料庫管理系統

資料庫管理系統定義
- 資料庫管理系統是位于用戶與作業系統之間，具有資料定義、管理和操縱功能的軟體集合，
- 資料庫管理系統
  - 提供對資料庫資源進行統一管理和控制的功能，使資料與應用程式隔離，資料具有獨立性；
  - 是資料結構及資料存盤具有一定的規范性，有利于資料共享；
  - 提供安全性和保密性措施，使資料不被破壞，不被竊用‘提供并發控制，保證資料庫的一致性；
  - 提供恢復機制，當出現故障時，資料恢復到一致性狀態，
資料庫雇你系統功能
- 資料定義功能
- 資料操縱功能
- 資料庫的運行管理功能
- 資料庫的建立和維護功能
注意
- 是支持資料庫得以運行的基礎性的系統，即整個計算機系統，資料庫是資料庫系統的核心和管理物件，每個具體的資料庫及其資料的存盤、維護以及為應用系統提供資料支持，都是在資料庫系統環境下運行完成的，
- 資料庫系統是實作有組織、動態地存盤大量相關的結構化資料、
  
  方便各類用戶訪問資料庫的計算機軟/硬體資源的集合，
- 也可以理解成，資料庫系統是由支持資料庫的硬體環境、資料庫軟體支持環境（作業系統、資料庫管理系統、應用開發工具軟體、應用程式等）、資料庫、開發、使用和管理資料庫應用系統的人員組成，

1.3 大資料

1.3.1 大資料概念

大資料（Big Data）：之前無法在一定時間內內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更強大的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的資訊資產，解決海量資料的采集、存盤和分析計算的問題，
所謂資料處理，實際上就是利用計算機對各種型別的資料進行加工處理，它包括對資料的采集、整理、存盤、分類、排序、檢索、維護、加工、統計和傳輸等一系列操作程序，
隨著計算機軟體、硬體技術的發展，資料處理數量的規模日益擴大，資料處理的應用需求越來越廣泛，資料管理技術的發展也不斷變遷，經歷了從人工管理、檔案系統、資料庫系統和分布式系統4個階段，

1.3.2 大資料特點

大體量（Volume）
- 隨著傳感設備，移動設備，網路寬帶的的成倍增加，在線交易和社交網路，每天生產成千上萬兆位元組的資料，資料規模也在不斷的急劇增長，
- 大資料的大體量（Volume）是指資料量大以及規模的完整性，全球資料量正以前所未有的速度增長，資料的存盤容量從TB級擴大到BB數量級，
高速（Velocity）——時效性
- 增長速度和處理速度，
- 大資料要求資料處理速度快，是區別于傳統的資料最顯著的特征，現實中，這體現在對資料的實時性需求上，否則，再有價
  
  值的資料，只要過了時效性，也失去存在的意義，
多樣性（Variety）
- 這種型別的多樣性也讓資料被分為結構化資料和非結構化資料
- 新型多結構的資料量也呈現爆炸式增長，有統計顯示，在
  
  未來，結構化資料和非結構化的資料占比懸殊，非結構化的數
  
  據將達到90%以上，
- 非結構化資料往往導致資料的異構性，進而加大資料處理復雜性，對資料處理能力提出了更高的要求，
- 網路日記，電子檔案，電子郵件，網頁，音頻、視頻，圖片，地理位置資訊等大量的非結構化資料已經占到了總資料量的很大比重，
大價值（Value）——低價值密度
- 大資料的資料價值隱藏在海量資料之中，往往表現為資料價值高但價值密度低的特點，
- 在大資料中，價值密度的高低與資料總量的大小之間并不存在線性關系，有價值的資料，往往被淹沒在海量無用資料之中，也就是人們常說的，我們淹沒在資料的海洋，卻又在忍受著知識的饑渴，

1.4 大資料應用場景

醫療、保險、等各行各業

轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/551842.html

標籤：大數據

上一篇：水平分庫分表排雷帖

下一篇：返回列表

第1章 大資料概述

1.1 資訊與資料

1、資訊

2、資料（data）

1.2 資料庫

1、資料庫的定義

2、資料庫特性

3、資料庫管理系統

1.3 大資料

1.3.1 大資料概念

1.3.2 大資料特點

1.4 大資料應用場景

第1章大資料概述