解密prompt系列5. APE+SELF=自動化指令集構建代碼實作

上一章我們介紹了不同的指令微調方案, 這一章我們介紹如何降低指令資料集的人工標注成本！這樣每個人都可以構建自己的專屬指令集, 哈哈當然我也在造資料集進行時~

介紹兩種方案SELF Instruct和Automatic Prompt Engineer，前者是基于多樣的種子指令，利用大模型的背景關系和指令理解能力，以及生成的多樣性來Bootstrap生成更多樣的指令樣本，后者是prompt逆向工程，基于輸入和輸出，使用LLM來生成和挑選最優的prompt指令，

于是我把這兩個方法強行組了CP，用APE把原始任務轉化成種子指令，再用SELF去擴充，在醫學和金融NLP任務上進行了嘗試，也在huggingface上用gradio做成了可視化的應用, 有API Key的盆友可以自己嘗試下效果：https://huggingface.co/spaces/xl2533/MakeInstruction ，記得fork到自己的space再嘗試喲~

Automatic Prompt Engineer(APE)

• paper: 2023.3, LARGE LANGUAGE MODELS ARE HUMAN-LEVEL PROMPT ENGINEERS
• github: https://github.com/keirp/automatic_prompt_engineer
• 一語道破天機: prompt逆向工程，根據輸入和輸出讓模型生成并尋找更優的prompt

指令生成

這里作者基于原始的輸入+輸出，部分樣本只有輸出，例如自由生成類的任務，來讓大模型預測，原始指令是什么，作者把指令生成的模板分成了3類，不過個人感覺其實只要一類即可，就是few-shot樣本在前，待生成的指令在最后的向前生成型別，如下圖

原始論文使用的是text-davinci-002來完成這個指令生成的任務，每個樣本使用5條few-shot樣例作為背景關系，讓模型輸出可能的指令，這里我把生成指令的模型改成了ChatGPT(只是因為便宜)，prompt模板也根據ChatGPT的特點做了調整，核心是ChatGPT作為對話模型比davinci-002，003廢話要多，如果還按上面的指令來寫，你可能會得到ChatGPT的回答是：我認為這個朋友收到的指令時blablabla.....

在實際測驗中我還發現了幾個有意思的點

1. 對于相對抽象，偏生成類的任務，few-shot樣本要給夠，模型才有可能猜到'無偏'的指令

例如相似新聞標題生成任務：我輸入了2條樣本作為few-shot如下，模型預測："將輸入中的公司或組織名稱規范化為全稱"

我又采樣了兩條樣本如下，模型預測："將公司公告或新聞標題簡化成簡短的標題，包括公司名稱和主要內容"

哈哈預測的指令確實都沒毛病，只不過都是相似新聞標題生成的子集，所以你需要根據任務輸入輸出的多樣性程度來調整你的few-shot樣本數，多樣性越高你需要的few-shot樣例越多

2. 構建指令樣本，說人話很重要

例如我把以上的相似標題生成任務，簡化成了判斷兩個標題是否描述同一事件的分類任務，最初我的輸入如下，看起來也沒毛病是不是？然模型的預測是："我無法確定這個任務指令的具體內容，但它可能與文本分類或者自然語言處理相關，給出輸入文本，需要判斷該文本是否符合某種特定的模式或標準，從而得出輸出結果"

但是當我把樣本中的輸出改成符合任務語意的相同/不相同時，模型預測是："判斷兩個新聞標題是否相同，如果相同輸出"相同"，否則輸出"不相同"

當然考慮生成模型解碼的隨機性，我在第一類樣本構建上多次采樣也得到了類似相似度判斷的指令，但整體效果都差于下面的構建方式，所以和MRC構建很相似，一切以符合語意為第一標準

3. 不要你以為，要模型以為！

最初我對這種機器生成指令的方式是不太感冒的，但是在醫學術語標準化這個任務上，我對比了APE得到的最優指令，和我人工寫的指令，在單測時確實是模型指令，得到正確答案的概率更高，所以我大膽猜測，因為模型之間的一致性，所以合理使用模型生成的指令，能提供更精準的背景關系任務描述，且理論上都應該不差于人類指令，

指令打分

這里作者使用了兩種打分方式，來評估多組樣本生成的多個候選指令的優劣

1. Accuracy：使用模型預測的正確率，例如對于QA問題，根據不同指令在相同樣本上模型回答的準確率來評價指令的效果，
2. Log Probability：使用模型預測的logprobs作為評價指標，注意這個指標有些tricky，我最初認為和上面的Accuracy一樣是讓模型去預測，把預測正確的token的logprobs求和，后來發現是把輸入+輸出+指令都喂給模型，計算模型生成原始輸出的概率，很好解決了生成類任務解碼隨機不同指令無法比較的問題，

如何調openai介面獲取輸入的logprobs：
把echo=True,logprobs=1, 就能回傳所有采樣token的logprobs，logprobs取值對應TopN的回傳，openai最多只給你回傳Top5 token，包括實際被采樣的token，max_tokens=0, 不讓模型生成新的文本，就可以讓模型原樣回傳我們喂進去的輸入,以及對應的模型計算的每個token的條件概率啦

同時作者加入了隨機搜索，既對模型生成的指令，過濾低分的部分，對于高分的指令集，讓模型基于以下指令模板，為高分指令生成相似的指令，和原始生成的指令一起排序選出最優指令，

這塊實作時，我把相似指令的部分拿掉了，改成人工加入，針對得到的高分指令，補充上自己認為缺少核心的資訊后使用log prob的打分方式來評估是否有提升，所以應用里，我把Generated Prompt的視窗改成了可互動的，可以直接對生成的指令做修改，再Eval效果即可，

例如在醫療搜索意圖的任務上，很明顯模型無法理解"多問"標簽是啥意思，所以最初多組樣本得到的最優指令是下圖的第二個，而我人工加入"多問"的指令后，得到了效果更好的第一個指令

效果

這里作者使用了REF[1]里面使用的24個指令任務，每類任務挑選5對樣本，使用以上的方案得到最優的指令，再在剩余樣本上，和人工指令以及REF[1]論文中使用的方案（沒有搜索和打分排序的APE）以下稱為greedy，進行效果對比，APE的效果在24個任務上基本可以打平人工模板甚至在部分任務上還要超越人工指令，在BigBench這類難度更高的樣本上，APE在17(共21)個任務上也超越了人工指令的效果，

我在4個醫學資料集上APE+人工優化得到的最優指令如下

以醫學術語標準化為例我簡化了APE提供的gradio應用，效果如下

SELF-Instruct

• paper: 2022.12, SELF-INSTRUCT: Aligning Language Model
  with Self Generated Instructions
• https://github.com/yizhongw/self-instruct
• https://github.com/tatsu-lab/stanford_alpaca#data-generation-process
• 一語道破天機：類似非線性插值，通過LLM的生成多樣性做Bootstrap對種子指令集進行不定向擴充

上一步我們依賴APE得到了種子指令集，但是豐富度和多樣性是遠遠不夠的，這里SELF提出了一種Bootstrap方案來讓LLM基于種子指令生成新的指令的指令擴充方案，這個方案也后續被用于Alpaca專案中生成微調指令集，主要包括以下3個步驟

1. 新指令生成

首先作者人工構建了175個種子指令，這些種子指令由1條指令和1個樣本構成，每個Step作者會從中采樣8個指令，其中6個來自以上種子，2個來自LLM生成的指令，當然step1全部都是種子指令，然后基于如下的prompt模板構建模型輸入

"""
Come up with a series of tasks:
Task 1: {instruction for existing task 1}
Task 2: {instruction for existing task 2}
Task 3: {instruction for existing task 3}
Task 4: {instruction for existing task 4}
Task 5: {instruction for existing task 5}
Task 6: {instruction for existing task 6}
Task 7: {instruction for existing task 7}
Task 8: {instruction for existing task 8}
Task 9:
"""

如果你看著這個模板，感覺和ChatGPT的模板格格不入，那就對了，因為作者是基于GPT3實作的，就是那個天真的續寫模型，

而Alpaca專案在使用SELF構建指令樣本時升級到了davinci-003模型，因為模型可以更好的理解指令，因此以上純few-shot的prompt模板也改成了如下(用ChatGPT翻成了中文)，同時輸入的few-shot數量縮減到了3個

"""
你需要想出20個不同的任務指令，這些任務指令將輸入GPT模型，我們將評估GPT模型完成指令的情況，
以下是要求：
1. 盡量不要在每個指令中重復使用動詞，以最大化多樣性
2. 指令的表達形式需要多樣化，例如你可以把問題和祈使句結合起來
3. 指令的型別應該多樣化，包括但不限于開放式生成、分類、抽取、問答、文本編輯等等
4. 指令應該是GPT模型可以完成的任務，例如，指令不能是輸出影像或者視頻，另一個例子，不要讓助手在下午5點叫醒你或設定提醒，因為GPT不能執行任何動作
5. 指令必須是中文
6. 指令應該是1到2句話，可以是祈使句或問句，
20個任務的串列：
"""

我第一遍讀完SELF是一腦門子問號

后來我（似乎&努力）說服了自己，就是LLM做了類似非線性差值的作業，因為每個Step都會采樣不同的指令作為背景關系，而模型也會根據隨機采樣得到的不同的背景關系融合出新的指令，

2. 樣本生成

只有指令還不夠，還需要生成指令對應的輸入和輸出，在SELF原論文中，作者多加了一步分類任務，也就是讓LLM先判斷指令本身是否為分類任務，如果是則先生成輸出，再生成輸入，如果否則先生成輸入再生成輸出，原因是作者發現，對于分類任務模型傾向于只生成其中一個標簽的輸入，

但在Alpaca專案中，因為模型升級到Davinci-003，以上問題也似乎不再顯著，并且隨著模型輸入長度變長，Alpaca直接把生成樣本和生成指令的步驟合在了一起，一步到位，于是以上指令生成的模板被擴充成了以下

"""
7. 你應該為指令生成一個合適的輸入，輸入欄位應該包含為指令提供的一個具體示例，它應該涉及真實的資料，而不應該包含簡單的占位符，輸入應該提供足夠的內容，使指令具有挑戰性，但理想情況下不應超過100個單詞，
8. 不是所有的指令都需要輸入，例如，當一個指令詢問一些一般資訊時，“世界上最高的山峰是什么”，就不需要提供具體的背景關系，在這種情況下，我們只需在輸入欄位中放置“<無輸入>”，
9. 輸出應該是對指令和輸入的合適回應，確保輸出少于100個單詞，
20個任務的串列：
"""

于是每一步其實是直接生成指令，以及指令對應的輸入和輸出樣本，對于自由生成類的任務，也支持沒有輸入只有輸出，

3. 過濾和后處理

針對以上生成的指令和樣本還需要進行一些系列的后處理，主要包括模型預測決議，不合理指令的過濾，以及相似指令的過濾，決議的部分建議直接看代碼

1. 不可用指令過濾

• 因為輸出長度被截斷的指令：response停止原因是length，則過濾最后一個指令
• 過濾包含不可用關鍵詞的指令：例如圖片，音頻等GPT模型無法完成的任務
• 過濾過長，過短的指令
• 過濾指令前幾個字非英文/中文的指令

2. 相似指令過濾

為了保證指令集的多樣性，每輪都會計算新生成指令和已有指令的Rouge-L相似度，也就是摘要任務評估中用最長公共子串的長度計算的F值，只保留F值小于0.7的新的指令，同時也可以根據最近幾輪生成指令的整體相似度，來判斷是否要停止生成，

我用上面APE生成的4個醫學NLP任務作為種子指令集，每輪采樣2個人工，1個機器指令作為few-shot，生成2個新的指令任務，我對以上指令做了些調整，限制只生成醫學領域的任務，得到了如下的結果，哈哈我決定去給賬戶充錢了，，，

大致就是這么多，感興趣的盆友們一起玩起來（造資料的痛苦見者有份）~

更多Prompt相關論文·教程，開源資料·模型，以及AIGC相關玩法戳這里DecryptPrompt

Reference

1. Instruction induction: From few examples to natural language task descriptions.
2. Fairness-guided Few-shot Prompting for Large Language Models
3. Flipped Learning: Guess the Instruction! Flipped Learning Makes Language Models Stronger Zero-Shot Learners

標籤：其他

上一篇：全網最詳細中英文ChatGPT-GPT-4示例檔案-文章大綱智能生成器從0到1快速入門——官網推薦的48種最佳應用場景（附python/node.js/curl命令源代碼，小白也能學）

下一篇：大模型高效開發的秘密武器：大模型低參微調套件MindSpore PET