主頁 >  其他 > 讀改變未來的九大演算法筆記01_資料壓縮

讀改變未來的九大演算法筆記01_資料壓縮

2023-06-02 09:08:35 其他

1. 起源

1.1. 香農–法諾編碼(Shannon-Fano Coding)

1.1.1. 克勞德·香農

1.1.1.1. 1948年論文創建資訊理論領域的貝爾實驗室科學家

1.1.2. 麻省理工學院教授羅伯特·法諾(Robert Fano)

1.2. 霍夫曼編碼

1.2.1. 大衛·霍夫曼

1.2.1.1. 法諾的一位學生

1.2.2. 一種基礎壓縮演算法,它被廣泛用于通信和資料存盤系統

1.2.3. Huffman Coding

1.3. LZ77演算法

1.3.1. 以色列計算機科學家亞伯拉罕·倫佩爾(Abraham Lempel)

1.3.2. 雅各布·齊夫(Jacob Ziv)

1.3.3. 1977年

2. 錯誤印象

2.1. 壓縮對絕大多數人沒有影響

2.2. 事實

2.2.1. 幾乎所有軟體都是以壓縮格式被下載的

2.2.1.1. 這意味著下載和轉移檔案的速度要比不壓縮時快數倍

2.2.2. 你對著電話講話時,你的聲音也經過了壓縮

3. 糾錯碼和壓縮演算法是同一枚硬幣的兩面

3.1. 來自冗余的想法

3.1.1. 如果一個檔案有冗余,它就比必要的長度長

3.2. 糾錯碼能被視為向訊息或檔案中添加冗余的原則性方法

3.3. 壓縮演算法正好相反:它們會從訊息或檔案中移除冗余

3.3.1. 基本思想是發現資料中彼此相同的部分,并運用某種把戲更高效地描述這些部分

3.4. 好的壓縮演算法會移除低效冗余,而糾錯編碼會增加另一種更高效的冗余

3.5. 首先壓縮一條資訊,再往里面添加一些糾錯碼的做法非常常見

4. 無損壓縮

4.1. 終極免費午餐

4.2. 無損壓縮演算法并不能為所有檔案節省大量空間

4.3. 一種好的壓縮演算法能為特定大類的檔案節省大量空間

5. 計算機中的資料壓縮

6. 行程長度編碼

6.1. Run-length Encoding

6.2. 將重復的“行程”和行程的“長度”編碼在了一起

6.2.1. ABABAB

6.2.2. 3AB

6.3. 只在壓縮非常特殊的資料種類上有用

6.4. 大部分時候只是和其他壓縮演算法結合起來使用

6.5. 傳真機就將行程長度編碼和另一種被稱為霍夫曼編碼的技術結合

6.6. 傳真是黑白檔案,檔案會被轉換成許多點,每個點都是非黑即白,當你按順序閱讀這些點(從左到右,從上到下)時,你會遇到大段白點(背景)以及小段黑點(前景文本或筆跡),這讓使用行程長度編碼變得非常有效

7. 同前把戲

7.1. Same-as-earlier Trick

7.2. 往回數27個字母,然后復制從那一點開始往下的8個字母

7.2.1. back 27,copy 8

7.2.1.1. b27c8

7.3. FG-FG-FG-FG-FG-FG-FG-FG

7.3.1. FG-FG-FG-FG-b8c8

7.3.2. back 2,copy14

7.3.2.1. 數回2個字母,直至抄到第14個字母

7.3.2.2. b2c14

7.3.2.3. FG-b2c14

7.4. Ab1c250

7.4.1. 251個A

8. 更短符號把戲

8.1. Shorter-symbol Trick

8.2. 如果你使用某樣東西足夠多次,給它起個簡短縮寫名是很值得的

8.2.1. United States of America

8.2.2. USA

8.3. 兩個常用字母的代碼被縮短了,代價是用更大的數字增長了不常用符號的代碼

8.3.1. 結果是大部分訊息的總長度都有所縮短

9. 實施步驟

9.1. 計算機使用同前把戲傳輸未經壓縮的原檔案,讓檔案中絕大多數重復資料由短得多的指令取代,這些指令會回傳并拷貝其他地方的資料

9.2. 計算機會檢查傳輸后的檔案,選出經常出現的符號,

9.2.1. 用短數字碼代表經常用到的符號,用更長的數字碼代表極少用到的符號

10. 有損壓縮

10.1. 簡單且有效的方法是直接“拋棄”一些資料

10.1.1. 會導致解壓后的原始檔案發生一些小改變

10.2. 拋棄對成品影響很小的資訊

10.3. 壓縮缺陷

10.3.1. Compression Artifact

10.3.2. 不僅僅是細節的損失,而且有損壓縮的某種方法會在接下來的解壓中引入明顯的新特征

11. 拋棄把戲

11.1. Leave-it-out Trick

11.2. JPEG影像壓縮格式

11.2.1. 整張圖片劃分為8像素×8像素的小方塊

11.2.1.1. 每個方塊都會被單獨壓縮

11.2.2. 如果方塊恰好只有一種顏色,整個方塊就能由一個數字代表,而計算機就能“拋棄”63個數字

11.2.3. 如果方塊的大部分是由一種顏色組成的,只有少數像素的顏色略有不同(也許一片天空的灰度都相同),計算機也可以用單個數字代表方塊,讓方塊得到好的壓縮結果,并在稍后解壓時只出現少量錯誤

11.2.4. 如果8×8方塊從一種顏色漸變為另一種顏色(比如左邊是深灰色,右邊是淺灰色),那么64個數字也許能被壓縮到只有2個:一個深灰的值和一個淺灰的值

11.3. 音頻壓縮格式

11.3.1. 音頻也會被劃分成“塊”,每個“塊”都會被單獨壓縮

11.3.2. 能利用與人耳有關的已知事實

11.3.2.1. 有些種類的聲音對人只有很小的影響或沒有影響

11.3.2.2. 壓縮演算法能在不降低輸出質量的情況下消除這些聲音

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/554096.html

標籤:其他

上一篇:windows 以太坊開發框架Truffle環境搭建

下一篇:返回列表

標籤雲
其他(160194) Python(38196) JavaScript(25473) Java(18173) C(15235) 區塊鏈(8269) C#(7972) AI(7469) 爪哇(7425) MySQL(7222) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5873) 数组(5741) R(5409) Linux(5344) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4580) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2434) ASP.NET(2403) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1979) 功能(1967) Web開發(1951) HtmlCss(1950) C++(1928) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1879) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種:三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看,三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看,三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統,“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及:虛擬機CentOs下執行 yum -y install lrzsz命令,出現錯誤:鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示:其實很簡單,往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號, sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求,SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生, 2020-08-28 16:18:25 分類專欄: kail 網路安全 linux 文章標簽: linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么? 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼: #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘(北斗授時服務器)讓網路資料更精準

    北斗電力時鐘(北斗授時服務器)讓網路資料更精準 北斗電力時鐘(北斗授時服務器)讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年,資訊技術的得了快速發展,互聯網在逐漸普及,其在人們生活和生產中都得到了廣泛應用,并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用,一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub:https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺,后來才有了CTFHub。 感覺不論是網頁UI設計,還是題目質量,賽事跟蹤,工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解(net user / type /md /rd/ dir /cd /net use copy、批處理 等) 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝,密碼啊破解03Linux常用命令04LAMP 01LINUX windows: win03 8 12 16 19 配置不繁瑣 Linux:redhat,centos(紅帽社區版),Ubuntu server,suse unix:金融機構,證券,銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 (POST注入/XSS漏洞上傳)3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題,描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 讀改變未來的九大演算法筆記01_資料壓縮

    ![](https://img2023.cnblogs.com/blog/3076680/202306/3076680-20230601235552862-525546511.png) # 1. 起源 ## 1.1. 香農–法諾編碼(Shannon-Fano Coding) ### 1.1.1. 克 ......

    uj5u.com 2023-06-02 09:08:35 more
  • windows 以太坊開發框架Truffle環境搭建

    **一、安裝DApp開發環境**1. * 1.1 安裝Node.js 我們使用官方長期支持的8.10.0LTS版本,下載64位包裝包。 下載后直接安裝即可。安裝完畢,打開一個控制臺視窗,可以使用node了: ``` C:\Users\Administrator> node -v v8.10.0 `` ......

    uj5u.com 2023-06-02 09:08:27 more
  • [網鼎杯 2020 朱雀組]Think Java——wp

    ##源檔案代碼審計 這里使用IDEA打開 ###Test.class ![](https://img2023.cnblogs.com/blog/3117123/202305/3117123-20230531143357357-282348130.png) ![](https://img2023.cn ......

    uj5u.com 2023-06-02 09:08:04 more
  • Flask測驗小工具平臺

    1.首先安裝flask pip install flask,或者在setting里邊去搜flask去安裝 2.寫一個簡單的介面,輸出hello 介面是一個函式,介面要系結一個介面地址,以確定那個介面去走這個函式,系結到路由也就是介面地址 from flask import Flaskapp = Fl ......

    uj5u.com 2023-06-02 09:07:49 more
  • 6.1. 網路基礎知識

    在開始學習Java網路編程之前,首先讓我們了解一些關于網路基礎知識的內容。網路編程主要涉及到計算機網路、網路協議、資料通信等方面的知識。接下來,我將盡量詳細、通俗易懂地介紹這些概念。 **計算機網路** 計算機網路是指將地理位置不同的計算機和其他設備通過通信鏈路(如光纖、無線電波等)連接在一起,實作 ......

    uj5u.com 2023-06-02 09:02:36 more
  • 基于nerdctl+buildkitd+containerd實作鏡像構建

    容器技術除了的docker之外,還有coreOS的rkt、google的gvisor、以及docker開源的containerd、redhat的podman、阿?的pouch等,為了保證容器?態的標準性和健康可持續發展,包括Linux 基?會、Docker、微軟、紅帽、?歌和IBM等公司在2015年... ......

    uj5u.com 2023-06-02 08:59:32 more
  • 魔力屏障 (magic) 題解

    魔力屏障 (magic) 【問題描述】 小 Z 生活在神奇的魔法大陸上。今天他的魔法老師給了它這樣一個法陣作為它 的期末考試題目: 法陣由從左至右 n 道魔力屏障組成,每道屏障有一個臨界值 a,如果它承受攻 擊的魔力值 ≥ a,屏障將會破碎,它所承受的魔力攻擊將在魔力值減半后(向下取 整)繼續向右移 ......

    uj5u.com 2023-06-02 08:59:14 more
  • 2萬聊天詞庫機器人詞庫ACCESS資料庫

    最近ChatGPT很火暴,機器人聊天很多年前就已經開始有了,只不過國內一直都是很淺顯的應用,這幾年又隨著小米同學、新能源汽車的語音控制又有所發展,國外的ChatGPT對漢語的理解還不是很透徹,還需要大量的學習程序。 這個聊天詞庫是從QQ機器人插件中提取出來的,但是有些分類沒有匯出,比如歇后語、成語啊 ......

    uj5u.com 2023-06-02 08:59:08 more
  • 【Haxe】(二)字串與變數的輸入輸出

    前言 每次學習一門新語言,各種手冊和教程一上來就是講變數如何定義,資料結構怎么用,很少有講輸入輸出應該怎么寫的。我比較喜歡先搞懂這部分,這讓我感覺像是掌握了學習主動權,很能調動我的學習積極性。于是我的第一篇筆記就打算記錄 Haxe 語言的輸入輸出陳述句怎么使用,算是用自己的筆記彌補對教程的缺憾了。關于 ......

    uj5u.com 2023-06-02 08:59:03 more
  • 業務安全情報第16期 | 大促8成優惠券竟被“羊毛黨”搶走!?

    ![圖片](https://mmbiz.qpic.cn/mmbiz_gif/Qk5wiatq1gWMXM8AD19laQkHjALvSLERCKS7IXrSPgFzqwL6MjQgTicZLyliasVbn5UfjXp0ClKyNt3APmvAVradQ/640?wx_fmt=gif&wxfrom= ......

    uj5u.com 2023-06-02 08:58:59 more