近期，谷歌公布新版ASPIRE訓練架構，該架構主要用于改進大型語言模型的選擇性預測情況。谷歌表示，盡管大語言模型在自然語言理解與生成領域發展迅速，應用廣泛，然而在涉及到高風險決策時，其預測能力仍待加強。為此，谷歌推出ASPIRE訓練框架，通過向模型引入“可信度”機制，提升預測準確率。

該框架分為三步驟：“特定任務調整”、“答案采樣”以及“自我評估學習”。首先，“特定任務調整”階段針對基本訓練的大型語言模型進一步深化訓練，重點提高預測能力。其次，“答案采樣”階段模型會根據調整的參數，生成多個答案，同時建立自我評估學習數據集，產生較高信度的選項。最后，“自我評估學習”階段則設定參數以提升機模自我評估能力，使之能檢測答案準確性，以便在回答問題時附加可信度評分。

據悉該架構取得顯著成效。在CoQA、TriviaQA和SQuAD三個問答數據集測試中，經由ASPIRE調整的OPT-2.7B小模型表現全面優于更大規模的OPT-30B模型。此成果證實，經適配調整，小型語言模型亦有潛力超越大型語言模型。

研究人員總結指出，ASPIRE訓練框架有效改善了大型語言模型的輸出精度，使小型模型經微調后可以實現“恰當且自信”的預測。