主頁 >  其他 > 變分自編碼器（VAE）公式推導

變分自編碼器（VAE）公式推導

2023-07-02 07:42:56 其他

論文原文：Auto-Encoding Variational Bayes [OpenReview (ICLR 2014) | arXiv]

本文記錄了我在學習 VAE 程序中的一些公式推導和思考，如果你希望從頭開始學習 VAE，建議先看一下蘇劍林的博客（本文末尾有鏈接），

VAE 的整體框架

VAE 認為，隨機變數 \(\boldsymbol{x} \sim p(\boldsymbol{x})\) 由兩個隨機程序得到：

  1. 根據先驗分布 \(p(\boldsymbol{z})\) 生成隱變數 \(\boldsymbol{z}\)，
  2. 根據條件分布 \(p(\boldsymbol{x} | \boldsymbol{z})\) 由 \(\boldsymbol{z}\) 得到 \(\boldsymbol{x}\)，

于是 \(p(\boldsymbol{x}, \boldsymbol{z}) = p(\boldsymbol{z})p(\boldsymbol{x} | \boldsymbol{z})\) 就是我們所需要的生成模型，

一種樸素的想法是：先用亂數生成器生成隱變數 \(\boldsymbol{z}\)，然后用 \(p(\boldsymbol{x} | \boldsymbol{z})\) 從 \(\boldsymbol{z}\) 中生成出（或者說重構出） \(\boldsymbol{x}\)，通過最小化重構損失來訓練模型，這個想法的問題在于：我們無法找到生成的樣本與原始樣本之間的對應關系，重構損失算不了，無法訓練，

VAE 的做法是引入后驗分布 \(p(\boldsymbol{z} | \boldsymbol{x})\)，訓練程序變為：

  1. 采樣一批原始樣本 \(\boldsymbol{x}\)，
  2. 用 \(p(\boldsymbol{z} | \boldsymbol{x})\) 獲得每個樣本 \(\boldsymbol{x}\) 對應的隱變數 \(\boldsymbol{z}\)，
  3. 用 \(p(\boldsymbol{x} | \boldsymbol{z})\) 從隱變數 \(\boldsymbol{z}\) 中重構出 \(\boldsymbol{x}\)，通過最小化重構損失來訓練模型，

從這個角度來看，\(p(\boldsymbol{z} | \boldsymbol{x})\) 相當于編碼器，\(p(\boldsymbol{x} | \boldsymbol{z})\) 相當于解碼器，訓練結束后只需要保留解碼器 \(p(\boldsymbol{x} | \boldsymbol{z})\) 即可，

除了重構損失以外，VAE 還有一項 KL 散度損失，希望近似的后驗分布 \(q(\boldsymbol{z} | \boldsymbol{x})\) 盡量接近先驗分布 \(p(\boldsymbol{z})\)，即最小化二者的 KL 散度，

變分下界的推導

現有 \(N\) 個由分布 \(P(\boldsymbol{x}; \boldsymbol{\theta})\) 生成的樣本 \(\boldsymbol{x}^{(1)}, \ldots, \boldsymbol{x}^{(N)}\)，我們可以使用極大似然估計從這些樣本中估計出分布的引數 \(\boldsymbol{\theta}\)，即

\[\begin{aligned} \boldsymbol{\theta} & = \operatorname*{argmax}_{\boldsymbol{\theta}} p(\boldsymbol{x}^{(1)}; \boldsymbol{\theta}) \cdots p(\boldsymbol{x}^{(N)}; \boldsymbol{\theta}) \\ & = \operatorname*{argmax}_{\boldsymbol{\theta}} \ln(p(\boldsymbol{x}^{(1)}; \boldsymbol{\theta}) \cdots p(\boldsymbol{x}^{(N)}; \boldsymbol{\theta})) \\ & = \operatorname*{argmax}_{\boldsymbol{\theta}} \sum_{i=1}^n \ln p(\boldsymbol{x}^{(i)}; \boldsymbol{\theta}). \end{aligned} \]

后驗分布 \(p(\boldsymbol{z} | \boldsymbol{x}) = \frac{p(\boldsymbol{z})p(\boldsymbol{x} | \boldsymbol{z})}{p(\boldsymbol{x})} = \frac{p(\boldsymbol{z})p(\boldsymbol{x} | \boldsymbol{z})}{\int_{\boldsymbol{z}} p(\boldsymbol{x}, \boldsymbol{z}) \mathrm{d}\boldsymbol{z}}\) 是 intractable 的，因為分母處的邊緣分布 \(p(\boldsymbol{x})\) 積不出來，具體來說，聯合分布 \(p(\boldsymbol{x}, \boldsymbol{z}) = p(\boldsymbol{z})p(\boldsymbol{x} | \boldsymbol{z})\) 的運算式非常復雜，\(\int_{\boldsymbol{z}} p(\boldsymbol{x}, \boldsymbol{z}) \mathrm{d}\boldsymbol{z}\) 這個積分找不到決議解，

需要使用變分推斷解決后驗分布無法計算的問題，我們使用一個形式已知的分布 \(q(\boldsymbol{z}|\boldsymbol{x}^{(i)}; \boldsymbol{\phi})\) 來近似后驗分布 \(p(\boldsymbol{z}|\boldsymbol{x}^{(i)}; \boldsymbol{\theta})\)，于是有

\[\begin{aligned} \log p(\boldsymbol{x}^{(i)}) & = \int_{\boldsymbol{z}} q(\boldsymbol{z}|\boldsymbol{x}^{(i)})[\log q(\boldsymbol{z}|\boldsymbol{x}^{(i)}) - \log p(\boldsymbol{z}|\boldsymbol{x}^{(i)})] \mathrm{d}\boldsymbol{z} + \int_{\boldsymbol{z}} q(\boldsymbol{z}|\boldsymbol{x}^{(i)})[-\log q(\boldsymbol{z}|\boldsymbol{x}^{(i)}) + \log p(\boldsymbol{z}|\boldsymbol{x}^{(i)})] \mathrm{d}\boldsymbol{z} + \log p(\boldsymbol{x}^{(i)}) \cdot 1 \\ & = \int_{\boldsymbol{z}} q(\boldsymbol{z}|\boldsymbol{x}^{(i)})\log\frac{q(\boldsymbol{z}|\boldsymbol{x}^{(i)})}{p(\boldsymbol{z}|\boldsymbol{x}^{(i)})} \mathrm{d}\boldsymbol{z} + \int_{\boldsymbol{z}} q(\boldsymbol{z}|\boldsymbol{x}^{(i)})[-\log q(\boldsymbol{z}|\boldsymbol{x}^{(i)}) + \log p(\boldsymbol{z}|\boldsymbol{x}^{(i)})] \mathrm{d}\boldsymbol{z} + \log p(\boldsymbol{x}^{(i)}) \cdot \int_{\boldsymbol{z}} q(\boldsymbol{z}|\boldsymbol{x}^{(i)})\mathrm{d}\boldsymbol{z} \\ & = \mathrm{KL}[q(\boldsymbol{z}|\boldsymbol{x}^{(i)}), p(\boldsymbol{z}|\boldsymbol{x}^{(i)})] + \int_{\boldsymbol{z}} q(\boldsymbol{z}|\boldsymbol{x}^{(i)})[-\log q(\boldsymbol{z}|\boldsymbol{x}^{(i)}) + \log p(\boldsymbol{z}|\boldsymbol{x}^{(i)})] \mathrm{d}\boldsymbol{z} + \int_{\boldsymbol{z}} q(\boldsymbol{z}|\boldsymbol{x}^{(i)})\log p(\boldsymbol{x}^{(i)}) \mathrm{d}\boldsymbol{z} \\ & = \mathrm{KL}[q(\boldsymbol{z}|\boldsymbol{x}^{(i)}), p(\boldsymbol{z}|\boldsymbol{x}^{(i)})] + \int_{\boldsymbol{z}} q(\boldsymbol{z}|\boldsymbol{x}^{(i)})[-\log q(\boldsymbol{z}|\boldsymbol{x}^{(i)}) + \log p(\boldsymbol{z}|\boldsymbol{x}^{(i)}) + \log p(\boldsymbol{x}^{(i)})] \mathrm{d}\boldsymbol{z} \\ & = \mathrm{KL}[q(\boldsymbol{z}|\boldsymbol{x}^{(i)}), p(\boldsymbol{z}|\boldsymbol{x}^{(i)})] + \int_{\boldsymbol{z}} q(\boldsymbol{z}|\boldsymbol{x}^{(i)})[-\log q(\boldsymbol{z}|\boldsymbol{x}^{(i)}) + \log (p(\boldsymbol{z}|\boldsymbol{x}^{(i)})p(\boldsymbol{x}^{(i)}))] \mathrm{d}\boldsymbol{z} \\ & = \mathrm{KL}[q(\boldsymbol{z}|\boldsymbol{x}^{(i)}), p(\boldsymbol{z}|\boldsymbol{x}^{(i)})] + \int_{\boldsymbol{z}} q(\boldsymbol{z}|\boldsymbol{x}^{(i)})[-\log q(\boldsymbol{z}|\boldsymbol{x}^{(i)}) + \log p(\boldsymbol{x}^{(i)}, \boldsymbol{z})] \mathrm{d}\boldsymbol{z} \\ & = \mathrm{KL}[q(\boldsymbol{z}|\boldsymbol{x}^{(i)}), p(\boldsymbol{z}|\boldsymbol{x}^{(i)})] + \mathbb{E}_{\boldsymbol{z} \sim q(\boldsymbol{z}|\boldsymbol{x}^{(i)})}[-\log q(\boldsymbol{z}|\boldsymbol{x}^{(i)}) + \log p(\boldsymbol{x}^{(i)}, \boldsymbol{z})] \\ & = \mathrm{KL}[q(\boldsymbol{z}|\boldsymbol{x}^{(i)}), p(\boldsymbol{z}|\boldsymbol{x}^{(i)})] + L(\boldsymbol{\theta}, \boldsymbol{\phi}; \boldsymbol{x}^{(i)}) \\ & \geq L(\boldsymbol{\theta}, \boldsymbol{\phi}; \boldsymbol{x}^{(i)}). \end{aligned} \]

利用 KL 散度大于等于 0 這一特性，我們得到了對數似然 \(\log p(\boldsymbol{x}^{(i)})\) 的一個下界 \(L(\boldsymbol{\theta}, \boldsymbol{\phi}; \boldsymbol{x}^{(i)})\)，于是可以將最大化對數似然改為最大化這個下界，

這個下界可以進一步寫成

\[\begin{aligned} L(\boldsymbol{\theta}, \boldsymbol{\phi}; \boldsymbol{x}^{(i)}) & = \int_{\boldsymbol{z}} q(\boldsymbol{z}|\boldsymbol{x}^{(i)})[-\log q(\boldsymbol{z}|\boldsymbol{x}^{(i)}) + \log p(\boldsymbol{x}^{(i)}, \boldsymbol{z})] \mathrm{d}\boldsymbol{z} \\ & = \int_{\boldsymbol{z}} q(\boldsymbol{z}|\boldsymbol{x}^{(i)})[-\log q(\boldsymbol{z}|\boldsymbol{x}^{(i)}) + \log (p(\boldsymbol{z})p(\boldsymbol{x}^{(i)}|\boldsymbol{z}))] \mathrm{d}\boldsymbol{z} \\ & = \int_{\boldsymbol{z}} q(\boldsymbol{z}|\boldsymbol{x}^{(i)})[-\log q(\boldsymbol{z}|\boldsymbol{x}^{(i)}) + \log p(\boldsymbol{z}) + \log p(\boldsymbol{x}^{(i)}|\boldsymbol{z})] \mathrm{d}\boldsymbol{z} \\ & = -\int_{\boldsymbol{z}} q(\boldsymbol{z}|\boldsymbol{x}^{(i)})[\log q(\boldsymbol{z}|\boldsymbol{x}^{(i)}) - \log p(\boldsymbol{z})] \mathrm{d}\boldsymbol{z} + \int_{\boldsymbol{z}} q(\boldsymbol{z}|\boldsymbol{x}^{(i)})\log p(\boldsymbol{x}^{(i)}|\boldsymbol{z})] \mathrm{d}\boldsymbol{z} \\ & = -\mathrm{KL}[q(\boldsymbol{z}|\boldsymbol{x}^{(i)}), p(\boldsymbol{z})] + \mathbb{E}_{\boldsymbol{z} \sim q(\boldsymbol{z}|\boldsymbol{x}^{(i)})}[\log p(\boldsymbol{x}^{(i)}|\boldsymbol{z})]. \\ \end{aligned} \]

其中的第一項是 KL 散度損失，第二項是重構損失，

KL 散度損失

使用標準正態分布作為先驗分布，即 \(p(\boldsymbol{z}) = N(\boldsymbol{z}; \boldsymbol{0}, \boldsymbol{I})\)，

使用一個由 MLP 的輸出來引數化的正態分布作為近似后驗分布，即 \(q(\boldsymbol{z}|\boldsymbol{x}^{(i)}; \boldsymbol{\phi}) = N(\boldsymbol{z}; \boldsymbol{\mu}(\boldsymbol{x}^{(i)}; \boldsymbol{\phi}), \boldsymbol{\sigma}^2(\boldsymbol{x}^{(i)}; \boldsymbol{\phi})\boldsymbol{I})\)，

選擇正態分布的好處在于 KL 散度的這個積分可以寫出決議解，訓練時直接按照公式計算即可，無需通過采樣的方式來算積分，

由于我們選擇的是各分量獨立的多元正態分布，因此只需要推導一元正態分布的情形即可：

\[\begin{aligned} \mathrm{KL}[N(z; \mu, \sigma^2), N(z; 0, 1)] & = \int_z N(z; \mu, \sigma^2)\log\frac{N(z; \mu, \sigma^2)}{N(z; 0, 1)} \mathrm{d}z \\ & = \int_z N(z; \mu, \sigma^2) \log\frac{\frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(z - \mu)^2}{2\sigma^2}\right)}{\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{z^2}{2}\right)} \mathrm{d}z \\ & = \int_z N(z; \mu, \sigma^2) \log\left(\frac{1}{\sqrt{\sigma^2}}\exp\left(\frac{1}{2}\left(-\frac{(z - \mu^2)^2}{\sigma^2} + z^2\right)\right)\right) \mathrm{d}z \\ & = \frac{1}{2}\int_z N(z; \mu, \sigma^2) \left(-\log\sigma^2 - \frac{(z - \mu)^2}{\sigma^2} + z^2\right)\mathrm{d}z \\ & = \frac{1}{2}\left(-\log\sigma^2\int_z N(z; \mu, \sigma^2) \mathrm{d}z - \frac{1}{\sigma^2}\int_z N(z; \mu, \sigma^2)(z - \mu)^2\mathrm{d}z + \int_z N(z; \mu, \sigma^2)z^2\mathrm{d}z\right) \\ & = \frac{1}{2}\left(-\log\sigma^2 \cdot 1 - \frac{1}{\sigma^2} \cdot \sigma^2 + \mu^2 + \sigma^2\right) \\ & = \frac{1}{2}(-\log\sigma^2 - 1 + \mu^2 + \sigma^2). \end{aligned} \]

解釋一下倒數第三行的三個積分：

  1. \(\int_z N(z; \mu, \sigma^2) \mathrm{d}z\) 是概率密度函式的積分，也就是 1，
  2. \(\int_z N(z; \mu, \sigma^2)(z - \mu)^2\mathrm{d}z\) 是方差的定義，也就是 \(\sigma^2\)，
  3. \(\int_z N(z; \mu, \sigma^2)z^2\mathrm{d}z\) 是正態分布的二階矩，結果為 \(\mu^2 + \sigma^2\)，

重構損失

伯努利分布模型

當 \(\boldsymbol{x}\) 是二值向量時，可以用伯努利分布（兩點分布）來建模 \(p(\boldsymbol{x}|\boldsymbol{z})\)，即認為向量 \(\boldsymbol{x}\) 的每個維度都服從對應的相互獨立的伯努利分布，使用一個 MLP 來計算各維度所對應的伯努利分布的引數，第 \(i\) 維伯努利分布的引數為 \(y_i = \boldsymbol{y}(\boldsymbol{z})_i\)，于是有

\[p(\boldsymbol{x}|\boldsymbol{z}) = \prod_{i=1}^D y_i^{x_i}(1 - y_i)^{1 - x_i}, \]

\[\log p(\boldsymbol{x}|\boldsymbol{z}) = \sum_{i=1}^D x_i\log y_i + (1 - x_i)\log(1 - y_i). \]

其中 \(D\) 表示向量 \(\boldsymbol{x}\) 的維度，可見此時最大化 \(\log p(\boldsymbol{x}|\boldsymbol{z})\) 等價于最小化交叉熵損失，

正態分布模型

當 \(\boldsymbol{x}\) 是實值向量時，可以用正態分布來建模 \(p(\boldsymbol{x}|\boldsymbol{z})\)，使用一個 MLP 來計算正態分布的引數，于是有

\[\begin{aligned} p(\boldsymbol{x}|\boldsymbol{z}) & = N(\boldsymbol{x}; \boldsymbol{\mu}, \boldsymbol{\sigma}^2\boldsymbol{I}) \\ & = \prod_{i=1}^D N(x_i; \mu_i, \sigma_i^2) \\ & = \left(\prod_{i=1}^D\frac{1}{\sqrt{2\pi}\sigma_i}\right)\exp\left(\sum_{i=1}^D-\frac{(x_i - \mu_i)^2}{2\sigma_i^2}\right), \end{aligned} \]

\[\log p(\boldsymbol{x}|\boldsymbol{z}) = -\frac{D}{2}\log 2\pi - \frac{1}{2}\sum_{i=1}^D\log\sigma_i^2 - \frac{1}{2}\sum_{i=1}^D\frac{(x_i - \mu_i)^2}{\sigma_i^2}. \]

很多時候我們會假設 \(\sigma_i^2\) 是一個常數，于是 MLP 只需要輸出均值引數 \(\boldsymbol{\mu}\) 即可，此時有

\[\log p(\boldsymbol{x}|\boldsymbol{z}) \sim -\frac{1}{2}\sum_{i=1}^D(x_i - \mu_i)^2 = -\frac{1}{2}\|\boldsymbol{x} - \boldsymbol{\mu}(\boldsymbol{z})\|^2. \]

可見此時最大化 \(\log p(\boldsymbol{x}|\boldsymbol{z})\) 等價于最小化 MSE 損失，

重引數化技巧

需要使用重引數化技巧解決采樣 \(z\) 時不可導的問題，解決的思路是先從無引數分布中采樣一個 \(\varepsilon\)，再通過變換得到 \(z\)，

從 \(N(\mu, \sigma^2)\) 中采樣一個 \(z\)，相當于先從 \(N(0, 1)\) 中采樣一個 \(\varepsilon\)，然后令 \(z = \mu + \varepsilon\cdot\sigma\)，

相關知識

技巧，通過取對數把乘除變成加減：

\[\ln ab = \ln a + \ln b,\ \ln\frac{a}{b} = \ln a - \ln b. \]

隨機變數的函式的期望：

\[\mathbb{E}_{x \sim P(x)} g(x) = \int_x p(x)g(x) \mathrm{d}x, \]

利用此公式可以將積分改寫成期望的形式，這樣就可以用采樣的方式計算積分了（蒙特卡羅積分法），

條件概率密度的定義：

\[p_{Y|X}(y|x) = \frac{p(x, y)}{p_X(x)}, \]

此處的 \(p\) 并不是概率而是概率密度函式，但是這個公式在形式上跟條件概率公式是一樣的，

參考資料

蘇劍林的 VAE 系列博客：

  • 變分自編碼器（一）：原來是這么一回事 - 科學空間
  • 變分自編碼器（二）：從貝葉斯觀點出發 - 科學空間
  • 變分自編碼器（三）：這樣做為什么能成？ - 科學空間

15 分鐘了解變分推理：

  • 【15分鐘】了解變分推理 - 嗶哩嗶哩
  • 【15分鐘】了解變分自編碼器 - 嗶哩嗶哩

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/556473.html

標籤：其他

上一篇：Ubuntu虛擬機教程

下一篇：返回列表

標籤雲
其他(161975) Python(38266) JavaScript(25519) Java(18286) C(15238) 區塊鏈(8275) C＃(7972) AI(7469) 爪哇(7425) MySQL(7280) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5876) 数组(5741) R(5409) Linux(5347) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4609) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2438) ASP.NET(2404) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1985) HtmlCss(1982) 功能(1967) Web開發(1951) C++(1942) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1882) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種：三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看，三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看，三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統，“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及：虛擬機CentOs下執行 yum -y install lrzsz命令，出現錯誤：鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示：其實很簡單，往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號， sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求，SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生， 2020-08-28 16:18:25 分類專欄： kail 網路安全 linux 文章標簽： linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么？ 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼： #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘（北斗授時服務器）讓網路資料更精準

    北斗電力時鐘（北斗授時服務器）讓網路資料更精準 北斗電力時鐘（北斗授時服務器）讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年，資訊技術的得了快速發展，互聯網在逐漸普及，其在人們生活和生產中都得到了廣泛應用，并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用，一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub：https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺，后來才有了CTFHub。 感覺不論是網頁UI設計，還是題目質量，賽事跟蹤，工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解（net user / type /md /rd/ dir /cd /net use copy、批處理 等） 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝，密碼啊破解03Linux常用命令04LAMP 01LINUX windows： win03 8 12 16 19 配置不繁瑣 Linux：redhat,centos(紅帽社區版)，Ubuntu server,suse unix:金融機構，證券，銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 （POST注入/XSS漏洞上傳）3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題，描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 變分自編碼器（VAE）公式推導

    論文原文：Auto-Encoding Variational Bayes [[OpenReview (ICLR 2014)](https://openreview.net/forum?id=33X9fd2-9FyZd) | [arXiv](https://arxiv.org/abs/1312.611 ......

    uj5u.com 2023-07-02 07:42:56 more
  • Ubuntu虛擬機教程

    ### 1.下載ubuntu鏡像 可以去中科大鏡像站下載（本次下載20.04版本，不同版本操作會有差異，建議保持一致） ```html https://mirrors.ustc.edu.cn/ ``` 點擊如圖所示的按鈕下載![image.png](https://cdn.nlark.com/yuq ......

    uj5u.com 2023-07-02 07:42:51 more
  • 解密Prompt系列10. 思維鏈COT原理探究

    這一章我們追本溯源，討論下COT的哪些元素是提升模型表現的核心。結合兩篇論文的實驗結論，可能導致思維鏈比常規推理擁有更高準確率的因素有:思維鏈的推理程序會重復問題中的核心物體；正確邏輯推理順序的引入 ......

    uj5u.com 2023-07-02 07:42:28 more
  • 變分自編碼器（VAE）公式推導

    論文原文：Auto-Encoding Variational Bayes [[OpenReview (ICLR 2014)](https://openreview.net/forum?id=33X9fd2-9FyZd) | [arXiv](https://arxiv.org/abs/1312.611 ......

    uj5u.com 2023-07-02 07:41:18 more
  • 解密Prompt系列10. 思維鏈COT原理探究

    這一章我們追本溯源，討論下COT的哪些元素是提升模型表現的核心。結合兩篇論文的實驗結論，可能導致思維鏈比常規推理擁有更高準確率的因素有:思維鏈的推理程序會重復問題中的核心物體；正確邏輯推理順序的引入 ......

    uj5u.com 2023-07-02 07:40:55 more
  • AtCoder Beginner Contest 308

    > 這幾天在收拾東西搬家，先附上代碼，晚點補上題解 > 感覺這次FG都寫不太明白 ## [A - New Scheme (abc308 A)](https://atcoder.jp/contests/abc308/tasks/abc308_a) ### 題目大意 給定八個數，問是否滿足以下要求： - ......

    uj5u.com 2023-07-02 07:40:17 more
  • 牛客小白月賽75

    # A.上班 ### 題意： ![](https://img2023.cnblogs.com/blog/2960080/202307/2960080-20230701100716620-968916608.png) ![](https://img2023.cnblogs.com/blog/29600 ......

    uj5u.com 2023-07-02 07:34:53 more
  • Ubuntu虛擬機教程

    ### 1.下載ubuntu鏡像 可以去中科大鏡像站下載（本次下載20.04版本，不同版本操作會有差異，建議保持一致） ```html https://mirrors.ustc.edu.cn/ ``` 點擊如圖所示的按鈕下載![image.png](https://cdn.nlark.com/yuq ......

    uj5u.com 2023-07-02 07:34:22 more
  • C++ 核心指南之資源管理（下）—— 智能指標最佳實踐

    > C++ 核心指南（C++ Core Guidelines）是由 Bjarne Stroustrup、Herb Sutter 等頂尖 C+ 專家創建的一份 C++ 指南、規則及最佳實踐。旨在幫助大家正確、高效地使用“現代 C++”。 > > 這份指南側重于介面、資源管理、記憶體管理、并發等 High ......

    uj5u.com 2023-07-02 07:32:07 more
  • 2023年6月隨筆暨半年總結

    ![](https://img2023.cnblogs.com/blog/3076680/202306/3076680-20230630120307874-1365687784.png) # 1. 回頭看 日更堅持了181天。 - 讀《改變未來的九大演算法》更新完成 - 讀《發布！設計與部署穩定的分布 ......

    uj5u.com 2023-07-01 08:38:01 more

Copyright © 2010-2020 有解無憂