這一章我們聊聊指令微調，指令微調和前3章介紹的prompt有什么關系呢？哈哈只要你細品，你就會發現大家對prompt和instruction的定義存在些出入，部分認為instruction是prompt的子集，部分認為instruction是句子型別的prompt，
對比前三章介紹過的主流prompt范式，指令微調有如下特點
- 面向大模型：指令微調任務的核心是釋放模型已有的指令理解能力(GPT3中首次提出)，因此指令微調是針對大模型設計的，因為指令理解是大模型的涌現能力之一，而prompt部分是面向常規模型例如BERT
- 預訓練：與其說是instruction tunning，更像是instruction pretraining，是在預訓練階段融入多樣的NLP指令微調，而非針對特定下游任務進行微調，而之前的promp主要服務微調和zeroshot場景
- multitask：以下模型設計了不同的指令微調資料集，但核心都是多樣性，差異化，覆寫更廣泛的NLP任務，而之前的prompt模型多數有特定的任務指向
- 泛化性：在大模型上進行指令微調有很好的泛化性，在樣本外指令上也會存在效果提升
- 適用模型：考慮指令都是都是sentence形式的，因此只適用于En-Dn，Decoder only類的模型，而之前的prompt部分是面向Encoder的完形填空型別
下面我們介紹幾個指令微調相關的模型，模型都還是那個熟悉的模型，核心的差異在于微調的指令資料集不同，以及評估側重點不同，每個模型我們只側重介紹差異點，按時間順序分別是Flan， T0，InstructGPT， TK-Instruct
Google: Flan
- paper: 2021.9 Finetuned Langauge Models are zero-shot learners
- github：https://github.com/google-research/FLAN
- 模型：137B LaMDA-PT
- 一言以蔽之：搶占先機，Google第一個提出指令微調可以解鎖大模型指令理解能力
谷歌的Flan是第一個提出指令微調范式的，目的和標題相同使用指令微調來提升模型的zero-shot能力，論文使用的是137B的LAMDA-PT一個在web，代碼，對話， wiki上預訓練的單向語言模型，
指令集
在構建資料集上，谷歌比較傳統，直接把Tensorflow Dataset上12個大類，總共62個NLP任務的資料集，通過模板轉換成了指令資料集
為了提高指令資料集的多樣性，每個任務，會設計10個模板，所以總共是620個指令，并且會有最多3個任務改造模板，所謂的任務改造就是把例如影評的情感分類任務，轉化成一個影評生成任務，更充分的發揮已有標注資料構建更豐富的指令資料集，哈哈感覺這里充滿了人工的力量，
為了保證資料集的多樣性和均衡性，每個資料集的訓練樣本限制在3萬，并且考慮模型對一個任務的適應速度取決于任務資料集大小，因此按使用資料集樣本大小占比按比例采樣混合訓練，
效果
效果上137B的指令微調模型大幅超越GPT3 few-shot, 尤其是在NLI任務上，考慮NLI的句子對基本不會在預訓練文本中自然作為連續上下句出現，而指令微調中設計了更自然地模板帶來了大幅的效果提升，
除了以上存在明顯效果提升的任務，在一些任務本身就和指令相似的任務，例如常識推理和指代消歧任務，指令微調并不能帶來顯著的效果提升，
作者做了更多的消融實驗，驗證指令微調中以下幾個變數
- 模型規模:
作者進一步論證了指令微調帶來的效果提升存在明顯的大模型效應，只有當模型規模在百億左右，指令微調才會在樣本外任務上帶來提升，作者懷疑當模型規模較小時，在較多任務上微調可能會占用模型本就不多的引數空間，造成預訓練時的通用知識遺忘，降低在新任務上的效果，
-
多任務影響:
考慮指令微調是在多任務上進行，作者希望剔除指令微調中多任務微調帶來的影響，因此嘗試進行多任務非指令微調（使用資料集名稱代替指令），效果上指令微調顯著更優，說明指令模板的設計確實存在提升模型指令理解力的效果， -
few-shot:
除了zero-shot，Flan同時驗證了few-shot的效果，整體上few-shot的效果優于zero-shot，說明指令微調對few-shot也有效果提升， -
結合prompt-tunning
既然指令微調提升模型對指令的理解能力，作者認為應該對進一步使用soft-prompt也應該有提升，因此進一步使用了prompt-tunning對下游任務進行微調，不出意外Flan比預訓練LaMDA的效果有顯著的提升，
BigScience: T0
- paper: 2021.10 Multitask prompted training enables zero-shot task generation
- T0: https://github.com/bigscience-workshop/t-zero
- Model: 11B T5-LM
- 一言以蔽之: Flan你想到的我也想到了! 不過我的指令資料集更豐富多樣
T0是緊隨Flan發布的論文，和FLan對比有以下以下幾個核心差異：
- 預訓練模型差異：Flan是Decoder-only, T0是Encoder-Decoder的T5，并且考慮T5的預訓練沒有LM目標，因此使用了prompt-tunning中以LM任務繼續預訓練的T5-LM
- 指令多樣性：T0使用的是PromptSource的資料集，指令要比Flan更豐富
- 模型規模：Flan在消融實驗中發現8B以下指令微調效果都不好，而3B的T0通過指令微調也有效果提升，可能影響是En-Dn的預訓練目標差異，以及T0的指令集更多樣更有創意
- 樣本外泛化任務： Flan為了驗證指令微調泛化性是每次預留一類任務在剩余任務訓練，訓練多個模型，T0是固定了4類任務在其余任務上微調
下面我們細說下T0的指令資料和消融實驗
指令集
T0構建了一個開源Prompt資料集P3(Public Pool of Prompts)，包括173個資料集和2073個prompt，從豐富程度上比Flan提升了一整個數量級，不過只包含英文文本，更多資料集的構建細節可以看PromptSource的論文，
作者在指令集的多樣性上做了2個消融實驗
- 指令集包括的資料集數：
在T0原始指令集的基礎上，作者分別加入GPT-3的驗證集，以及SuperGLUE，訓練了T0+和T0++模型，在5個hold-out任務上，更多的資料集并不一定帶來效果的提升，并且在部分推理任務上，更多的資料集還會帶來spread的上升（模型在不同prompt模板上表現的穩定性下降）
- 每個資料集的prompt數(p)：通過每個資料集采樣不同數量的prompt進行訓練，作者發現隨prompt數提升，模型表現的中位數會有顯著提升，spread存在不同程度的下降，不過看起來存在邊際遞減的效應，
OpenAI: InstructGPT
- paper: 2022.3 Training Language Model to follow instructions with human feedback
- Model: (1.3B, 6B, 175B) GPT3
- 一言以蔽之：你們還在刷Benchamrk?我們已經換玩法了！更好的AI才是目標
這里把InstructGPT拆成兩個部分，本章只說指令微調的部分，也就是訓練三部曲中的第一步，論文中叫SFT(Supervised fine-tuning)，從論文的資料構建和評估中，不難發現OpenAI對于什么是一個更好的模型的定義和大家出現了差異，當谷歌，BigScience聯盟還在各種不同的標準任務上評估LM模型能力提升時，OpenAI的重點已經變成了更好的AI，也就是能更好幫助人類解決問題的人工智能，簡化成3H原則就是
- Helpful：模型能幫助用戶解決問題
- Honest: 模型能輸出真實資訊
- Harmless： 模型輸出不能以任何形式傷害人類
于是正文部分的評估基本沒有常見的Accuracy，F1等,而是變成了各種人工評估的打分，例如LikeScore，Hallucinations等等，指令微調資料集的分布也從標準NLP任務向用戶在playground中提交的問題偏移，下面我們細說下這兩部分
指令集
先說下SFT指令集的構建，InstructGPT構建了訓練12725+驗證1653條prompt指令，由標注員的標注樣本和用戶在playground中和模型互動的指令共同構成，相比T0指令的多樣性又有大幅提升，不過以下的指令數量包括了few-shot采樣，也就是1個instruction采樣不同的few-shot算多條指令，
除了豐富程度，和T0以及Flan指令集最大的差異在于指令型別的分布， 標注人員標注了以下三類樣本
- Plain: 標注同學自由構建任務指令
- Few-shot：自由構建任務的同時給出few-shot樣例
- User-Based: 基于用戶申請waitlist時給出的使用用途，讓標注同學構建對應的指令任務
整體上會更偏向于用戶在真實場景下和模型互動可能提問的問題，自由式生成例如腦暴，改寫，聊天，自由創作類的任務占了絕大多數， 而T0，Flan的指令集集中在NLP的分類和QA任務，這類任務的在實際互動中占比其實很小，下圖是OpenAI play ground中收集的用戶指令的分布
以及從論文的表述中存在迭代 ，也就是標注同學標注的指令集用于訓練第一版InstructGPT，然后發布到playground，收集更多的用戶和模型互動的指令，再使用用戶指令來訓練后續的模型，因此在用戶導向的資料集上OpenAI相比所有競爭對手都有更深厚的積累，你以為在白嫖人家的playground？人家也在收集資料提升他們的模型，
SFT使用cosine rate decay 例如微調了16個epoch，但是發現在第一個epoch上驗證集就已經過擬合了，但是過擬合會提升后續RLHF的模型效果，這部分我們放到RLHF章節再討論，也就是什么樣的模型更合適作為RLHF的起點
評估指標
從論文對如何把3H原則轉化成客觀的模型評估指標的討論上，不難感受到OpenAI對于標注標準有過很長期的討論和迭代，包括3個方向
- Helpful有用性
主要評價模型是否理解了指令意圖，考慮有些指令本身意圖的模糊性，因此有用性被泛化成標注同學1-7分的偏好打分，
- Harmless有害性
針對模型輸出是否有害其實取決于模型的輸出被用在什么場景中，OpenAI最初是用疑似有害性作為判斷標注，不過看起來可能雙審一致率不高，不同標注同學對疑似有害的認知存在較大差異，因此OpenAI設計了幾條明確的有害標準，和風控類似，包括涉黃，涉暴，有侮辱性言語等等，
- Honest事實性
相比Honest的含義 ，Truthfulness更適合用與沒有價值觀的模型，論文使用封閉域上模型偽造事實的概率，和在QA問題上的準確率來評估，
以上的標注標準，具體反映在以下的標注頁面中
模型效果
評估資料也分成了兩部分，標準NLP資料集，和API收集的指令資料進行標注得到，也就是OpenAI獨有資料，
- API資料集
有用性上，不論是在請求GPT，還是在請求InstructGPT的指令樣本中，不論是使用新的標注同學，還是和標注訓練樣本相同的標注同學，對比原始GPT3，SFT之后的模型like score都顯著更高，并且存在模型規模效應，
具體拆分到是否遵循指令，是否給出偽事實，以及能否對用戶起到幫助作用上，SFT微調后的模型都有顯著提升，
同時論文對比了使用Flan和T0的指令集對GPT3進行微調，發現雖然比原始GPT3有提升，但是效果會顯著差于使用更接近人類偏好的指令集微調的SFT，論文給出了兩個可能的原因
- 公開NLP任務型別集中在分類和QA，這和OpenAI playground中收集的任務分布存在較大的差異
- 公開NLP資料集的指令豐富程度 << 人們實際輸入的指令多樣性
- 標準NLP任務
在TruthfulQA任務上，SFT模型相比GPT有微小但是顯著的提升，整體事實性還是有待提高，
在RealToxicityPrompts資料集上，不管是人工打分還是Perspective模型打分都顯示，SFT相比GPT3，在產出有害內容上比例有顯著的下降，
綜上所述，InstructGPT在指令微調上最大突破是指令資料集分布的差異性，標準NLP任務更少，自由開放類任務更多，以及依賴Openai免費開放的playground，可以持續收集用戶的指令用于模型迭代，同時在評估標準上，在語言模型之外引入3H體系來評價模型作為AI的能力效果，
AllenAI：TK-Instruct
- paper: 2022.4 SUPER-NATURAL INSTRUCTIONS:Generalization via Declarative Instructions on 1600+ NLP Tasks
- 開源指令集：https://instructions.apps.allenai.org/
- Model: 11B T5
- 一言以蔽之：沒有最大只有更大的指令集，在英文和非英文的各類任務上超越InstructGPT？
Tk-Instruct最大的貢獻在于開源了更大規模的指令資料集，并且對上述提到的T0(promptSource)，Flan，InstructGPT指令集進行了對比總結，如下
TK-Instruct在76大類，總共1616個任務上構建了指令集，任務分布比T0和Flan更加多樣和廣泛，比InstructGPT要小（不過因為Instruct GPT的指令更多是開放生成類的用戶指令所以不太可比)，且占比上還是更偏向標準NLP任務型別，
其他細節這里不再贅述，這里放TK-InstructGPT更多是想看下以上T0，InstructGPT，TK-Instruct的效果對比，可以發現在內容理解任務上Tk-Instruct是要顯著超越InstructGPT的，在生成類任務上二者差不多，但整體和有監督微調（虛線）相比還有很大的提升空間，這里其實也是我對Chatgpt能力的一些疑慮，不可否認它在擬人化和對話上的成功，但是在標準NLP任務上ChatGPT的水平如何，這一點有待評估，好像又看到最近有類似的論文出來，后面再補上這部分
更多Prompt相關論文·教程，AIGC相關玩法戳這里DecryptPrompt
Reference
- https://bigscience.huggingface.co/blog/t0
- https://github.com/bigscience-workshop/promptsource
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/548225.html
標籤：其他
上一篇：一篇用AI生成圖片與內容的文章
下一篇：Spatio-Temporal Representation With Deep Neural Recurrent Network in MIMO CSI Feedback閱讀筆記