摘要：本文介紹大模型低參微調套件——MindSpore PET，
本文分享自華為云社區《大模型高效開發的秘密武器——大模型低參微調套件MindSpore PET篇》，作者：yd_280874276 ，
人工智能進入“大模型時代”，大模型具備更強泛化能力，在各垂直領域落地時，只需要進行引數微調，就可以適配多個場景，因此，發展大模型已成為產學研各界共識，
在大模型開發方面，昇騰推出了大模型開發使能平臺，基于昇思MindSpore構建了支撐大模型開發的全流程大模型使能套件，包括TransFormers大模型套件MindSpore TransFormers、以文生圖大模型套件MindSpore Diffusion、人類反饋強化學習套件MindSpore RLHF、大模型低參微調套件MindSpore PET，支撐大模型從預訓練、微調、壓縮、推理及服務化部署，
本期，我們將開啟“大模型高效開發的秘密武器”系列之首篇，為大家介紹大模型低參微調套件——MindSpore PET，
一、MindSpore PET介紹
MindSpore PET（MindSpore Parameter-Efficient Tuning）是基于昇思MindSpore AI融合框架開發的大模型低參微調套件，當前該套件提供6種演算法，包含5種經典的低參微調演算法LoRA、Prefix-Tuning、Adapter、LowRankAdapter、BitFit，以及1種用于下游任務精度提升的微調演算法R_Drop，低參微調演算法只需微調極少量的引數，即可在保持全參微調精度的情況下，大大節約計算和存盤記憶體，減少微調訓練的時間；精度提升的微調演算法在幾乎不增加計算記憶體及時間情況下，增加模型隨機性，防止模型過擬合從而提高模型的正確率，
套件為所有演算法提供了API呼叫介面及使用案例，實作開箱即用，并為低參微調演算法提供了只保存極少的可學習引數的介面，使得生成的ckpt檔案非常小，
開源倉地址：https://github.com/mindspore-lab/MindPet
二、MindSpore PET - LoRA
2.1 演算法原理
LoRA: Low-Rank Adaptation of Large Language Models，是微軟提出的一種針對大語言模型的低參微調演算法，LoRA假設在適配下游任務時，大模型的全連接層存在一個低內在秩（low intrinsic rank），即包含大量冗余資訊，因此提出將可訓練的秩分解矩陣注入Transformer架構的全連接層，并凍結原始預訓練模型的權重，從而可大大減少參與訓練的引數量，
2.2 應用效果——以悟慷訓畫為例
悟慷訓畫模型是基于擴散模型的中文文生圖大模型，雖然有強大的能力，但模型網路規模巨大，約9億引數量，適配下游任務時訓練時間長，計算和存盤記憶體開銷大，
經分析，悟慷訓畫中使用CLIP模型將人類語言轉換成機器能理解的數學向量，并通過 U-Net 模型預測噪聲，這兩種模型的Attention結構都包含全連接層，適配下游任務時可能含有大量冗余資訊，
因此，我們分別在 U-Net的交叉注意力層q、k、v、output四個模塊上，注入了LoRA模塊，發現效果例外好，
如下圖所示，適配LoRA后即使僅訓練0.07%引數，也可以生成高質量的影像！
同時，相比全參微調，應用LoRA演算法，訓練性能也得到大幅提升：
- 原本端到端全參微調需17小時，適配后僅需9小時，節約近50%時間；
- 計算記憶體節約40%，可繼續增大一倍batch_size，速度更快；
- 最終保存的ckpt大小才3.06MB，不再需要用4個GB保存所有引數，
這說明當有n個下游任務時，僅需保存n x 3.06MB，避免了n x 4GB的“龐然大物”，而且，我們還做了令人振奮的實驗，如果用戶訓練了多種風格的模型，只需0.5s就可以切換風格，真正的無縫切換“畢加索”和“新海誠”！
原因在于MindSpore框架的靜態圖特性，只需要在第一次正向訓練時編圖，后續即使加載其它LoRA-ckpt更新引數，也無需重新編圖，
2.3 使用方式
為大模型減輕負擔的LoRA演算法本身用起來也很輕松，端到端僅需簡單五步就可以完成適配，
第一步：
將模型CrossAttention結構中qkvo的Dense層替換成LoRADense：
from tk.delta import LoRADense # original Dense Layer # self.to_q = nn.Dense(query_dim, inner_dim, has_bias=False).to_float(dtype) # replace Dense Layer with LoRADense self.to_q = LoRADense(query_dim, inner_dim, has_bias=False, lora_rank=4, lora_alpha=4).to_float(dtype)
第二步：
在訓練腳本中呼叫凍結方法，僅訓練新增的lora模塊：
from tk.graph import freeze_delta # freeze all cells except LoRA and head freeze_delta(LatentDiffusionWithLoss, 'lora’)
第三步：
在訓練腳本中將保存ckpt的ModelCheckpoint替換為TrainableParamsCheckPoint，僅保存需要更新的引數：
from tk.graph import TrainableParamsCheckPoint # original callback # ckpt_callback = ModelCheckpoint(...) # replace ModelCheckpoint with TrainableParamsCheckPoint ckpt_callback = TrainableParamsCheckPoint(...)
第四步：
根據訓練目標調整學習率、batch_size等引數：
epochs: 15 start_learning_rate: 1e-4 end_learning_rate: 1e-6 train_batch_size: 3 warmup_steps: 0 lora_rank: 4 lora_alpha: 4
第五步：
訓練完成后，在評估腳本中分別加載預訓練ckpt和微調后生成的ckpt：
# 加載預訓練ckpt pre_trained_pramas = load_checkpoint(pre_trained_ckpt_path) load_param_into_net(net, pre_trained_pramas) # 加載微調后生成的ckpt trainable_pramas = load_checkpoint(trainable_ckpt_path) load_param_into_net(net, trainable_pramas) # 開始評估 model.eval()
我們已經開源所有代碼，并給出了詳細的介面和用例介紹：
https://github.com/mindspore-lab/MindPet/blob/master/doc/TK_DeltaAlgorithm_README.md
需要注意的是相比全參微調，適配LoRA后一般要設定更大的學習率，如適配悟慷訓畫時，我們就將學習率從1e-5增大到1e-4，
三、MindSpore PET - Prefix-Tuning
Prefix-Tuning: Optimizing Continuous Prompts for Generation，也是一種針對大語言模型的低參微調演算法，研究人員提出，使用連續的向量而不是離散的詞匯來構建前綴模板，即在輸入前加入連續的token embedding，可以增加query和key的相關性，因此，Prefix-Tuning通過在每個multi-head attention的 key 矩陣和 value 矩陣前注入可訓練的prefix向量k，v，并凍結原始網路引數，來大幅提升生成類任務的性能，
Prefix-Tuning在GPT-2和盤古Alpha大模型上都有很好的效果，與全參微調相比，在保持原有精度的前提下，使用Prefix-Tuning訓練盤古Alpha僅需5.5%的引數量，節約了65%以上的計算記憶體，并將一個迭代的耗時縮短到一半，
四、MindSpore PET - Rdrop
R-Drop: Regularized Dropout for Neural Networks，是一種用于提升精度的微調演算法，主要通過簡單的“兩次Dropout”來構造正樣本進行對比學習，增加模型隨機性，具體是在模型加載完一個batch的資料集之后，復制一份該資料，并同時輸入到模型中，然后分別計算損失函式，并將結果相加得到最終的loss值，盡管邏輯非常簡單，卻能很好的防止模型過擬合，進一步提高模型的正確率，經在Bert上多個下游任務上驗證，幾乎保持同樣的記憶體和時間開銷，就能提升2.6個點的精度，
大模型開發到部署是一個高門檻、復雜的程序，大模型使能套件將幫助開發者，讓大模型更易開發、易適配、易部署，
想了解更多關于TransFormers大模型套件MindSpore TransFormers、以文生圖大模型套件MindSpore Diffusion、人類反饋強化學習套件MindSpore RLHF的相關資訊，請關注昇思MindSpore公眾號，我們將持續為大家帶來人工智能領域技術干貨和活動訊息，
點擊關注，第一時間了解華為云新鮮技術~
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/549657.html
標籤：其他