面對當前微調大模型主要依賴人類生成數據的普遍做法，谷歌 DeepMind 探索出了一種減少這種依賴的更高效方法。
如你我所見，大語言模型（LLM）正在改變深度學習的格局，在生成人類質量的文本和解決各種語言任務方面展現出了卓越的能力。雖然業界通過對人類收集的數據進行監督微調進一步提升了在具體任務上的性能，但獲取高質量人類數據卻面臨著重大瓶頸。這對于要解決復雜問題的任務來說尤為明顯，需要大量資源和專業知識。
怎么解決呢？模型生成得合成數據是一種有潛力的替代方案，只要能保證數據的質量，就能實現可擴展性和成本效益。
雖然 LLM 能夠自我評估生成的數據，但在本文中，谷歌 DeepMind 探索了一種更簡單的設置，將外部標量反饋信號用作每個生成樣本的質量指標。
論文地址：https://arxiv.org/pdf/2312.06585.pdf
為了研究在模型生成數據上的訓練，研究者考慮了一種簡單但強大的語言模型自訓練方法，僅需要兩項功能，一是基于模型生成樣本，二是利用評分機制對這些樣本進行評估。
為了確保清晰度和一致性，研究者采用了一種強化自訓練方法 ReST
