參考：
范數：https://blog.csdn.net/xdy1120/article/details/106426504
各種距離：https://www.cnblogs.com/AlvinSui/p/8931074.html
常見的距離演算法和相似度（相關系數）計算方法：https://www.cnblogs.com/arachis/p/Similarity.html
距離與范數：https://zhuanlan.zhihu.com/p/363707147

一、各種距離概念

距離這個概念，在上小學的時候就知道了，它衡量的是兩點之間的遠近程度，其實距離根據定義可以分為好多好多種，我們日常生活中的距離指的一般是歐式距離，在很多文獻中都會講到距離，比如曼哈頓距離、歐式距離和閔可夫斯基距離等，這些概念往往看一遍就懂了，但是在沒有看概念的前提下讓你描述一遍往往會一時語塞，所以筆者準備進行一下匯總并進行一些區分，

1、曼哈頓距離

出租車幾何或曼哈頓距離（Manhattan Distance）是由十九世紀的赫爾曼·閔可夫斯基所創詞匯 ，是種使用在幾何度量空間的幾何學用語，用以標明兩個點在標準坐標系上的絕對軸距總和，

曼哈頓這個城市的街道很有特點，因為它方方正正的，就像坐標軸上的坐標格網一樣，在曼哈頓街區要從一個十字路口開車到另一個十字路口，駕駛距離顯然不是兩點間的直線距離，這個實際駕駛距離就是“曼哈頓距離”，曼哈頓距離也稱為“城市街區距離”(City Block distance)，

2、歐式距離

歐幾里得度量（euclidean metric）也稱歐氏距離，是一個通常采用的距離定義，指在m維空間中兩個點之間的真實距離，或者向量的自然長度（即該點到原點的距離），在二維和三維空間中的歐氏距離就是兩點之間的實際距離，

下圖中紅線代表曼哈頓距離，綠色代表歐氏距離，也就是直線距離，而藍色和黃色代表等價的曼哈頓距離，

3、切比雪夫距離

二個點之間的切比雪夫距離（Chebyshev Distance）定義是其各坐標數值差絕對值的最大值，國際象棋棋盤上兩個位置間的切比雪夫距離是指王要從一個位子移至另一個位子最少需要走的步數（王可以直行、橫行、斜行），

4、閔可夫斯基距離

閔氏空間指狹義相對論中由一個時間維和三個空間維組成的時空，為俄裔德國數學家閔可夫斯基(H.Minkowski,1864-1909)最先表述，閔氏距離（Minkowski Distance）不是一種距離，而是一組距離的定義，是對多個距離度量公式的概括性的表述，閔氏距離有時也指時空間隔，其計算方式詳見下文

5、標準化歐式距離

標準化歐氏距離（Standardized Euclidean Distance）是針對歐氏距離的缺點而作的一種改進，標準歐氏距離的思路：既然資料各維分量的分布不一樣，那先將各個分量都“標準化”到均值、方差相等（也就是將資料投影到N(0,1)區間），再根據標準化之后的資料計算歐式距離，

6、馬氏距離

馬氏距離(Mahalanobis distance)是由印度統計學家馬哈拉諾比斯(P. C. Mahalanobis)提出的，表示點與一個分布之間的距離，它是一種有效的計算兩個未知樣本集的相似度的方法，

馬氏距離又稱為資料的協方差距離，它是一種有效的計算兩個未知樣本集的相似度的方法，馬氏距離的結果也是將資料投影到N(0,1)區間并求其歐式距離，與標準化歐氏距離不同的是它認為各個維度之間不是獨立分布的，所以馬氏距離考慮到各種特性之間的聯系，它的計算用到協方差矩陣，當協方差矩陣是對角陣（即各維度之間獨立）時，馬氏距離也就等于標準化歐式距離，下圖表示了歐式距離和馬氏距離的區別，黑線為到中心距離相等的點的集合，

7、余弦距離

幾何中，夾角余弦可用來衡量兩個向量方向的差異；機器學習中，借用這一概念來衡量樣本向量之間的差異，下圖中的 c o s θ cos\theta cosθ 就是指余弦距離（Cosine Distance），它的取值范圍為 [ ? 1 , 1 ] [-1,1] [?1,1]，而 d i s ( A , B ) dis(A,B) dis(A,B)就是指的歐式距離，

8、漢明距離

漢明距離（Hamming Distance）是使用在資料傳輸差錯控制編碼里面的，漢明距離表示兩個（相同長度）字對應位不同的數量，我們以d（x,y）表示兩個字x,y之間的漢明距離，對兩個字串進行異或運算，并統計結果為1的個數，那么這個數就是漢明距離，比如

• 1011101 與 1001001 之間的漢明距離是 2，
• 2143896 與 2233796 之間的漢明距離是 3，

9、杰卡德距離

杰卡德距離(Jaccard Distance) 是用來衡量兩個集合差異性的一種指標，它是杰卡德相似系數的補集，被定義為1減去Jaccard相似系數，而杰卡德相似系數(Jaccard similarity coefficient)，也稱杰卡德指數(Jaccard Index)，是用來衡量兩個集合相似度的一種指標，

• Jaccard相似指數用來度量兩個集合之間的相似性，它被定義為兩個集合交集的元素個數除以并集的元素個數，
• Jaccard距離用來度量兩個集合之間的差異性，它是Jaccard的相似系數的補集，被定義為1減去Jaccard相似系數，

10、相關距離

相關距離(Correlation distance)是用來衡量向量X與Y差異程度的一種方法，它被定義為1減去相關系數，相關系數是衡量向量X與Y相關程度的一種方法，相關系數的取值范圍是[-1,1]，相關系數的絕對值越大，則表明X與Y相關度越高，

11、資訊熵

以上的距離度量方法度量的皆為兩個樣本（向量）之間的距離，而資訊熵描述的是整個系統內部樣本之間的一個距離，或者稱之為系統內樣本分布的集中程度（一致程度）、分散程度、混亂程度（不一致程度），系統內樣本分布越分散(或者說分布越平均)，資訊熵就越大，分布越有序（或者說分布越集中），資訊熵就越小，

二、各種距離計算公式

三、范數與距離

向量的范數可以簡單形象的理解為向量的長度，或者向量到零點的距離，或者相應的兩個點之間的距離，

常用的向量的范數：

• L0范數：L0范數并不是一個真正的范數，它主要被用來度量向量中非零元素的個數，
• L1范數: ||x|| 為x向量各個元素絕對值之和，
• L2范數: ||x||為x向量各個元素平方和的1/2次方，L2范數又稱Euclidean范數或者Frobenius范數，
• Lp范數: ||x||為x向量各個元素絕對值p次方和的1/p次方，
• L∞范數: ||x||為x向量各個元素絕對值最大那個元素的絕對值

可以看到閔可夫斯基距離就是p-norm范數的一般化定義，下圖給出了一個Lp球（||X||p=1）的形狀隨著P的減少的可視化圖：