GPT 如何煉成？「一張狠圖」看破 AI 餵養模式，秒變你的最佳助手

    ChatGPT 是由其前身 InstructGPT 改進而來，InstructGPT 是一個經過微調的新版本 GPT-3，可以儘量避免一些具有攻擊性的、不真實的語言輸出。InstructGPT 的主要優化方式是從人類回饋中進行強化學習（Reinforcement Learning from Human Feedback，簡稱 RLHF）。而 ChatGPT 採用了和 InstructGPT 一樣的方法，只是調整了資料收集方式。

 步驟一：收集示範資料並訓練一個監督學習的策略。

    模型會從問題庫裡抽取問題，由工作人員撰寫問題的答案，這些標記了答案的問題會被用於優化 GPT-3.5 模型（GPT-3 的改進版）。

步驟二：收集對比資料並訓練一個獎勵模型。

    抽取問題和一些模型的答案，工作人員會對所有答案由好到壞排序，這些排序資料會被用於訓練獎勵模型。

步驟三：使用強化學習演算法優化針對獎勵模型的策略。

    抽取問題，透過模型生成初步回答，回答會被輸入獎勵模型中得到評分和優化參數，並在優化後重複優化的過程。

上述訓練方法讓模型更加清晰地理解了人類對話的意圖，並獲得了多輪對話的能力。

真格基金的林惠文曾在線上分享中表示，ChatGPT 展現出了不少有趣的提升：

• 敢質疑不正確的前提。

• 主動承認錯誤和無法回答的問題。

• 大幅提升了對使用者意圖的理解。

• 大幅提升了結果的準確性。

    這些提升無疑是可喜可賀的，不過 ChatGPT 也並非完美無缺，依然存在很多問題。

根據 OpenAI 的官方文件及使用者實際操作經驗，目前 ChatGPT 的局限性包括：

• 有時會寫出看似合理但不正確或荒謬的答案。

• 對輸入措辭的調整或多次嘗試相同的提示很敏感。例如，給出一個問題的措辭，模型可以聲稱不知道答案，但只要稍作改寫，就可以正確回答。

• 回答通常過於冗長並過度使用某些短語。

• 對於模棱兩可的問題，模型通常會猜測使用者的意圖，而非讓使用者澄清問題。

• 模型有時會回應有害的問題或表現出有偏見的行為。

• 在數學和物理等需要進行數位推理的任務中仍然會出現一些錯誤。

    不過，這些局限並沒有影響 ChatGPT 的突破性成就，反而讓人們更期待 GPT-4 在未來究竟會帶來什麼樣的驚喜。

（本文摘自杜雨、張孜銘著《AI生成時代：從ChatGPT到繪圖、音樂、影片，利用智能創作自我加值、簡化工作，成為未來關鍵人才》，〈ChatGPT 完整的訓練過程〉章節，高寶書版提供）