深度學習是關于資料的，我們需要將資料以矩陣或更高維向量的形式表示并對它們執行操作來訓練我們的深度網路，所以更好地理解矩陣運算和線性代數將幫助您對深度學習演算法的作業原理有更好的理解， 這就是為什么線性代數可能是深度學習中最重要的數學分支， 在這篇文章中，我將嘗試對線性代數做一個簡單的介紹，
我們所說的資料是什么意思？
讓我們考慮一個簡單的例子，在這個例子中，你有每棟房子的屬性，你的目標是嘗試預測給定房子的價格，這些屬性也稱為解釋變數（EV），我們將利用它們來訓練我們的模型，為簡單起見，我們將只考慮三個屬性：臥室數量、房屋大小、位置，現在，每棟房子都將表示為一個包含三個值的向量，
[X_numberOfBedrooms, X_size, X_location]
但是等等，這里我們只考慮一所房子，我們通常擁有由數千棟房屋組成的資料集，每棟房屋都稱為一個資料點，此時，我們要做的就是將房屋的向量堆疊起來，形成一個矩陣，每行代表一所房子，每列代表一個解釋變數，
x??：第一個房子的房間數
x??：第一個房子的大小
x??：第一個房子的位置
簡單線性回歸
我們將嘗試建立一個簡單的模型來預測給定房屋的價格， 讓我們采用三個解釋變數的線性組合， 這可能是你能得到的最簡單的模型； 簡單的線性回歸， 現在讓我們正式來看一下：
Y = Xβ+?
我們有三個權重乘以每個 EV，可以將它們視為每個變數在決定價格方面的重要性， 簡單的想一想：房子大，地段好，價格肯定高， 因此，所有EV與價格呈正相關， 通過查看最高權重，我們可以確定最相關的變數，這將使我們很好地了解模型對每個變數的敏感性， 現在，讓我們用矩陣表示法重寫所有內容，
如您所見，以矩陣形式撰寫所有內容可以更簡潔地描述正在發生的事情， 但是我們如何乘以矩陣呢？ 別擔心，它既簡單又直觀，
矩陣乘法
首先讓我們地思考一下； 我們只是想將每個 EV 與其相應的權重相乘， 我們有 n 個房屋/示例，因此從邏輯上講，我們應該將設計矩陣中的每一行與列向量 W 相乘， 為簡潔起見，我們將考慮一個包含兩個示例和三個解釋變數的簡單示例：
矩陣和列向量相乘將產生另一個列向量，
現在讓我們考慮將兩個矩陣相乘， 不要忘記矩陣相乘，第一個矩陣的列數應該與第二個矩陣的行數相同， 所得矩陣的大小可以很容易地計算出來：如果 A=[aij] 是一個 m×n 矩陣，而 B=[bij] 是一個 n×k 矩陣，則 AB 的乘積是一個 m×k 矩陣， 現在已經知道如何將兩個矩陣相乘，假設有多個列向量，相乘的程序與將矩陣與向量相乘的程序相同，但是我們要將得到的列向量并排堆疊成一個矩陣，
PyTorch 和張量
這里我們使用 PyTorch 并將它們用于矩陣乘法， PyTorch 是眾所周知的深度學習庫，張量（Tensor）起著至關重要的作用， 您可以將張量視為更高維的矩陣，而 PyTorch 允許我們高效地對它們執行數值運算，現在可能已經猜到了，矩陣和張量構成了深度學習的基礎，
讓我們看一個簡單的例子，我們初始化兩個矩陣并對它們執行矩陣運算：
A = torch.tensor([[1,2,3] , [2,3,4]])
B = torch.tensor([[3,1] , [4,2] , [2,3]])
torch.matmul(A,B)
神經網路
把到目前為止我們學到的應用起來，我們就可以開始應用矩陣運算來表示神經網路了， 將假設你了解神經網路的基礎知識，讓我們看看我們的模型架構對于單個隱藏層的需求，
從上圖可以看出，我們有輸入神經元，它們的表示方式與我們的房屋資料相同， 接下來，我們的隱藏層有四個神經元， 每個神經元將是通過非線性函式的輸入神經元的線性組合， 在這個例子中，我們將考慮一個廣泛使用且易于理解的激活函式， RELU是一種激活函式，如果輸入值為負則輸出零，否則輸出輸入， 在數學上，ReLU 函式是 f(x)=max(0,x)， 為了表示隱藏層中的四個神經元，我們將我們的設計矩陣與一個四列三行的權重矩陣相乘； 行數應等于輸入的維數，列數應等于后續層中目標神經元的數量，
剩下的就是最終的輸出層， 輸出神經元又是前一層神經元的線性組合， 由于我們正在處理一個回歸問題，我們需要一個無界的值，因此我們不需要最后一層的激活函式， 這一層的矩陣乘法要容易得多，因為我們將只采用隱藏層的線性組合， 這應該類似于線性回歸，實際上，它正是線性回歸， 整個模型可以表示如下：
總結
所有深度學習操作都使用矩陣計算來表示， 學習有關如何在矩陣和張量中表示資料的基礎知識，將使您對底層的理論有更好的理解， 如果相對線性代數進行更深入的學習，Gilbert Strang 教授的精彩講座令人難忘（https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/）
本文作者：Taha Binhuraib
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/292619.html
標籤：AI