在“人工標注數據+強化學習”框架下，具體而言，InstructGPT的訓練過程分為以下三個階段：

　　第一階段：冷啟動階段的監督策略模型

　　靠GPT 3本身，盡管它很強，但是它很難理解人類不同類型指令中蘊含的不同意圖，也很難判斷生成內容是否是高質量的結果。為了讓GPT 3初步具備理解指令中蘊含的意圖，首先會從測試用戶提交的prompt（就是指令或問題）中隨機抽取一批，靠專業的標注人員，給出指定prompt的高質量答案，然后用這些人工標注好的數據來Fine-tune GPT 3模型。經過這個過程，我們可以認為 GPT 3初步具備了理解人類prompt中所包含意圖，并根據這個意圖給出相對高質量回答的能力，但是很明顯，僅僅這樣做是不夠的。

　　第二階段：訓練回報模型（RewardModel，RM）

　　這個階段的主要目的是通過人工標注訓練數據，來訓練回報模型。具體而言，隨機抽樣一批用戶提交的prompt（大部分和第一階段的相同），使用第一階段Fine-tune好的冷啟動模型，對于每個prompt，由冷啟動模型生成K個不同的回答，于是模型產生出了，…。數據。之后，標注人員對K個結果按照很多標準（上面提到的相關性、富含信息性、有害信息等諸多標準）綜合考慮進行排序，給出K個結果的排名順序，這就是此階段人工標注的數據。接下來，我們準備利用這個排序結果數據來訓練回報模型，采取的訓練模式其實就是平常經常用到的pair-wiselearning to rank。對于K個排序結果，兩兩組合，形成 （ k 2 ） \binom{k}{2} （2k） 個訓練數據對，ChatGPT采取pair-wiseloss來訓練Reward Model。RM模型接受一個輸入，給出評價回答質量高低的回報分數Score。對于一對訓練數據，我們假設人工排序中answer1排在answer2前面，那么Loss函數則鼓勵RM模型對的打分要比 的打分要高。歸納下：在這個階段里，首先由冷啟動后的監督策略模型為每個prompt產生K個結果，人工根據結果質量由高到低排序，以此作為訓練數據，通過pair-wiselearning to rank模式來訓練回報模型。對于學好的RM模型來說，輸入，輸出結果的質量得分，得分越高說明產生的回答質量越高。