【翻譯】GPT最佳實踐

原文章地址：https://platform.openai.com/docs/guides/gpt-best-practices/strategy-test-changes-systematically

本指南分享了從GPT中獲得更好結果的戰略和策略，這里描述的方法有時可以結合起來使用，以獲得更大的效果，我們鼓勵大家通過實驗來找到最適合自己的方法，

這里演示的一些例子目前只適用于我們能力最強的模型，gpt-4，如果你還沒有機會使用gpt-4，可以考慮加入等待名單，一般來說，如果你發現一個GPT模型在某項任務中失敗了，而有一個能力更強的模型可用，通常值得用能力更強的模型再試一次，

獲得更好結果的六種策略

寫清楚說明

GPT不能讀懂你的想法，如果產出太長，要求簡短的答復，如果產出太簡單，就要求專家級的寫作，如果你不喜歡這種格式，就展示你希望看到的格式，GPT越是不需要猜測你想要什么，你就越有可能得到它，

方法：

1. 在你的詢問中包括細節，以獲得更多相關的答案
2. 要求模型扮演一個角色
3. 使用分隔符來清楚地表明輸入的不同部分
4. 具體說明完成一項任務所需的步驟
5. 提供例子
6. 指定所需的輸出長度

提供參考文本

GPT可以自信地編造虛假的答案，特別是當被問及深奧的話題或參考和URL時，就像一張筆記可以幫助學生在考試中做得更好一樣，為GPT提供參考文本可以幫助他們在回答問題時減少捏造，

方法：

1. 指導模型使用參考文本進行回答
2. 指導模型使用參考文本中的引文進行回答

將復雜的任務拆分為更簡單的子任務

正如在軟體工程中，將一個復雜的系統分解成一系列的模塊化組件是一個很好的做法，提交給GPT的任務也是如此，復雜的任務往往比簡單的任務有更高的錯誤率，此外，復雜的任務通常可以被重新定義為較簡單的任務的作業流程，其中早期任務的輸出被用來構建后面任務的輸入，

方法：

1. 使用意圖分類來確定與用戶查詢最相關的指令
2. 對于需要很長對話的對話應用，總結或過濾以前的對話
3. 對長的檔案進行逐條總結，并遞回地構建一個完整的總結

給GPT時間“思考”

如果讓你用17乘以28，你可能不會馬上知道，但還是可以通過時間計算出來，同樣地，當GPT試圖立即回答，而不是花時間來計算答案時，他們會犯更多的推理錯誤，在回答之前要求有一連串的推理，可以幫助GPT們更可靠地推理出正確的答案，

方法：

1. 指示模型在匆忙得出結論之前，先找出自己的解決方案
2. 使用內心獨白或一連串的詢問來隱藏模型的推理程序
3. 詢問模型在之前的程序中是否遺漏了什么

使用外部工具

通過向GPT提供其他工具的輸出來彌補GPT的弱點，例如，一個文本檢索系統可以告訴GPT有關的檔案，一個代碼執行引擎可以幫助GPT進行數學運算和運行代碼，如果一項任務可以由一個工具而不是GPT更可靠或更有效地完成，那么就把它卸載掉，以獲得兩者的優點，

方法：

1. 使用基于嵌入的搜索來實作高效的知識檢索
2. 使用代碼執行來進行更精確的計算或呼叫外部API

系統地測驗變更

如果你能測量它，提高性能就更容易了，在某些情況下，對一個提示的修改會在一些孤立的例子上實作更好的性能，但在更有代表性的例子上會導致更差的整體性能，因此，為了確定一個變化對性能是積極的，可能需要定義一個全面的測驗套件（也稱為 "評估"），

方法：

1. 參斬訓金標準答案評估模型輸出

方法

上面列出的每個策略都可以用具體的戰術來實體化，這些戰術是為了提供一些可以嘗試的想法，它們決不是完全全面的，你應該自由地嘗試這里沒有代表的創造性想法，

策略：撰寫清晰的說明

方法：在你的詢問中包括細節，以獲得更多相關的答案

為了得到高度相關的回應，請確保請求提供任何重要的細節或背景關系，否則，你就得讓模型來猜測你的意思了，

方法：要求模型扮演一個角色

系統訊息可用于指定模型在回復中使用的角色，

方法：使用分隔符清楚地指示輸入的不同部分

三引號、XML標記、節標題等分隔符可以幫助劃分要區別對待的文本節，

對于像這樣簡單的任務，使用分隔符可能不會對輸出質量產生影響，然而，任務越復雜，消除任務細節的歧義就越重要，不要讓GPT努力去理解你對他們的要求，

方法：指定完成任務所需的步驟

某些任務最好指定為一系列步驟，明確地寫出步驟可以使模型更容易地遵循它們，

方法：提供示例

提供適用于所有例子的一般指示，通常比通過例子演示任務的所有變化更有效，但在某些情況下，提供例子可能更容易，例如，如果你打算讓模型復制一種難以明確描述的回應用戶查詢的特定風格，這就是所謂的 "幾句話 "提示，

方法：指定所需的輸出長度

您可以要求模型生成具有給定目標長度的輸出，目標輸出長度可以根據單詞、句子、段落、專案符號等的數量來指定，然而，請注意，指示模型生成特定數量的單詞并不具有高精度，該模型可以更可靠地生成具有特定數量的段落或專案符號的輸出，

策略：提供參考文本

方法：指導模型使用參考文本進行回答

如果我們可以為模型提供與當前查詢相關的可信資訊，那么我們可以指示模型使用所提供的資訊來組成其答案，

鑒于GPT的背景關系視窗有限，為了應用這種策略，我們需要某種方式來動態查找與所問問題相關的資訊，Embeddings可以用來實作高效的知識檢索，有關如何實作這一點的更多詳細資訊，請參閱策略“使用基于嵌入的搜索來實作高效的知識檢索”，

方法：指導模型用參考文本中的引文進行回答

如果輸入中已經用相關知識進行了補充，那么可以直接要求模型通過參考所提供檔案中的段落來在其答案中添加參考，請注意，輸出中的參考可以通過所提供檔案中的字串匹配以編程方式進行驗證，

策略：將復雜的任務拆分為更簡單的子任務

方法：使用意圖分類來確定與用戶查詢最相關的指令

對于需要大量獨立指令集來處理不同情況的任務，首先對查詢型別進行分類并使用該分類來確定需要哪些指令可能是有益的，這可以通過定義與處理給定類別中的任務相關的固定類別和硬編碼指令來實作，這個程序也可以遞回地應用于將任務分解為一系列階段，這種方法的優點是，每個查詢將僅包含執行任務的下一階段所需的那些指令，與使用單個查詢來執行整個任務相比，這些指令可以導致更低的錯誤率，這也可以降低成本，因為更大的提示運行成本更高（請參閱定價資訊），
例如，假設對于客戶服務應用程式，查詢可以有效地分類如下：

基于客戶查詢的分類，可以向GPT模型提供一組更具體的指令，以處理接下來的步驟，例如，假設客戶需要“故障排除”方面的幫助，

請注意，該模型已被指示發出特殊的字串，以指示對話的狀態何時改變，這使我們能夠把我們的系統變成一個狀態機，狀態決定了哪些指令被注入，通過跟蹤狀態，哪些指令在該狀態下是相關的，以及允許從該狀態下進行哪些狀態轉換，我們可以在用戶體驗周圍設定護欄，這在結構化程度較低的方法中是難以實作的，

方法：對于需要很長對話的對話應用，總結或過濾以前的對話

由于GPT具有固定的背景關系長度，用戶和助手之間的對話（其中整個對話都包含在背景關系視窗中）不能無限期地繼續，
這個問題有各種各樣的解決方法，其中之一就是總結之前的談話，一旦輸入的大小達到預定的閾值長度，這可以觸發對會話的一部分進行總結的查詢，并且先前會話的總結可以被包括作為系統訊息的一部分，或者，可以在整個會話的后臺異步總結先前的會話，
另一種解決方案是動態選擇對話中與當前查詢最相關的先前部分，請參閱策略“使用基于嵌入的搜索來實作高效的知識檢索”，

方法：對長的檔案進行逐條總結，并遞回地構建一個完整的總結

由于GPT具有固定的背景關系長度，因此不能在單個查詢中使用GPT來匯總超過背景關系長度減去生成的摘要長度的文本，
要總結一個很長的檔案，例如一本書，我們可以使用一系列查詢來總結檔案的每個部分，章節摘要可以連接和匯總，從而生成摘要的摘要，這個程序可以遞回地進行，直到整個檔案被總結出來，如果有必要使用有關前幾節的資訊來理解后幾節，那么另一個有用的技巧是在總結書中任何給定點之前的文本時，包括對該點內容的連續摘要，OpenAI使用GPT-3的變體在之前的研究中已經研究了這種總結書籍的程式的有效性，

策略：給GPT時間“思考”

方法：指示模型在匆忙得出結論之前，先找出自己的解決方案

有時，當我們明確指示模型在得出結論之前從第一原理進行推理時，我們會得到更好的結果，例如，假設我們想要一個模型來評估一個學生對數學問題的解決方案，最明顯的方法是簡單地問模型，學生的解決方案是否正確，

但是學生的解決方案實際上是不正確的！我們可以通過提示模型首先生成自己的解決方案來讓模型成功地注意到這一點，

方法：使用內心獨白或一連串的詢問來隱藏模型的推理程序

前面的策略表明，在回答特定問題之前，模型對問題進行詳細推理有時很重要，對于某些應用程式，模型用于得出最終答案的推理程序不適合與用戶共享，例如，在輔導應用程式中，我們可能希望鼓勵學生自己找出答案，但模型對學生解決方案的推理程序可能會向學生揭示答案，
內心獨白是一種可以用來緩解這種情況的策略，內心獨白的想法是指示模型將原本要對用戶隱藏的輸出部分放入結構化格式中，使決議它們變得容易，然后，在向用戶呈現輸出之前，對輸出進行決議，并且僅使輸出的一部分可見，

或者，這可以通過一系列查詢來實作，在這些查詢中，除最后一個查詢外，所有查詢的輸出都對最終用戶隱藏，
首先，我們可以要求模型自己解決問題，由于這個初始查詢不需要學生的解決方案，因此可以省略它，這提供了額外的優勢，即模型的解決方案不會因學生嘗試的解決方案而產生偏差，

接下來，我們可以讓模型使用所有可用的資訊來評估學生的解決方案是否正確，

最后，我們可以讓模型使用自己的分析，以一個樂于助人的導師的身份構建一個回復，

方法：詢問模型在之前的程序中是否遺漏了什么

假設我們正在使用一個模型來列出與某個特定問題相關的來源的摘錄，在列出每個摘錄之后，模型需要確定它是否應該開始寫另一個摘錄，或者是否應該停止，如果源檔案很大，模型通常會過早停止，而無法列出所有相關的節選，在這種情況下，通常可以通過提示模型進行后續查詢，以找到它在前幾次查詢中遺漏的任何節選內容，從而獲得更好的性能，

使用外部工具

方法：使用基于嵌入的搜索來實作高效的知識檢索

如果作為輸入的一部分提供，模型可以利用外部資訊源，這可以幫助模型生成更知情和最新的回應，例如，如果用戶詢問關于特定電影的問題，則將關于電影的高質量資訊（例如，演員、導演等）添加到模型的輸入中可能是有用的，嵌入可以用于實作高效的知識檢索，從而可以在運行時將相關資訊動態添加到模型輸入中，
文本嵌入是一種可以測量文本字串之間相關性的向量，相似或相關的字串將比不相關的字串更緊密地連接在一起，這一事實，加上快速矢量搜索演算法的存在，意味著嵌入可以用于實作高效的知識檢索，特別地，文本語料庫可以被分成塊，并且每個塊都可以被嵌入和存盤，然后，可以嵌入給定的查詢，并且可以執行向量搜索以從語料庫中找到與查詢最相關的嵌入的文本塊（即，在嵌入空間中最接近的文本塊），
示例實作可以在OpenAI Cookbook中找到，請參閱策略“指導模型使用檢索到的知識來回答查詢”，以了解如何使用知識檢索來最大限度地減少模型編造錯誤事實的可能性，

方法：使用代碼執行來進行更精確的計算或呼叫外部API

不能依靠GPT自己準確地進行算識訓長時間的計算，在需要的情況下，可以指示一個模型撰寫和運行代碼，而不是自己進行計算，特別是，一個模型可以被指示把要運行的代碼放到一個指定的格式中，如三重回溯，在產生輸出后，代碼可以被提取并運行，最后，如果有必要，代碼執行引擎（即Python解釋器）的輸出可以提供給模型，作為下一次查詢的輸入，

代碼執行的另一個好用例是呼叫外部API，如果指示模型正確使用API，它可以撰寫使用它的代碼，可以通過向模型提供說明如何使用API的檔案和/或代碼示例來指示模型如何使用API，

警告：執行由模型生成的代碼本質上是不安全的，在任何試圖執行此操作的應用程式中都應該采取預防措施，特別是，需要一個沙盒代碼執行環境來限制不受信任的代碼可能造成的危害，

系統地測驗變更

有時很難判斷一個變化——例如，一條新指令或一個新設計——是讓你的系統變得更好還是更糟，看看幾個例子可能會暗示哪一個更好，但由于樣本量較小，很難區分真正的改進還是隨機的運氣，也許更改有助于某些輸入的性能，但會損害其他輸入的性能，

評估程式（或“evals”）有助于優化系統設計，好的evals是：

• 代表真實世界的使用（或至少多樣化）
• 包含許多測驗用例以獲得更大的統計能力（有關指南，請參閱下表）
• 易于自動化或重復

輸出的評估可以由計算機、人工或混合進行，計算機可以使用客觀標準（例如，具有單一正確答案的問題）以及一些主觀或模糊標準來自動評估，其中模型輸出由其他模型查詢來評估，OpenAI Evals是一個開源軟體框架，提供創建自動化評估的工具，
當存在一系列可能的輸出時，基于模型的評估可能會很有用，這些輸出被認為質量同樣高（例如，對于答案很長的問題），基于模型的評估可以實際評估的內容和需要人類評估的內容之間的界限是模糊的，并且隨著模型變得更有能力，界限不斷變化，我們鼓勵進行實驗，以了解基于模型的評估在多大程度上適用于您的用例，

方法：參斬訓金標準答案評估模型輸出

假設一個問題的正確答案應該參考一組特定的已知事實，然后，我們可以使用模型查詢來計算答案中包含了多少所需事實，
例如，使用以下系統訊息：

以下是一個同時滿足這兩點的示例輸入：

以下是一個沒有得到滿足的示例輸入：

這種基于模型的eval有很多可能的變體，考慮以下變化，它跟蹤候選答案和金標準答案之間的重疊型別，并跟蹤候選答案是否與金標準答案的任何部分相矛盾，

以下是一個輸入不合格答案的示例，但與專家答案并不矛盾：

以下是一個與專家答案直接矛盾的輸入示例：

以下是一個帶有正確答案的示例輸入，它還提供了比所需更多的細節：

其他資源

要獲得更多靈感，請訪問OpenAI Cookbook，其中包含示例代碼，還鏈接到第三方資源，如：

• 提示庫和工具
• 提示性指南
• 視頻課程
• 關于改進推理的高級提示的論文

標籤：其他

上一篇：不糾結語法（田靜）

下一篇：返回列表