在科技界的密切關(guān)注下，OpenAI于近日揭曉了其連續(xù)發(fā)布計劃的第二部分，時間定格在北京時間12月7日的凌晨。這場直播不僅吸引了全球科技愛好者的眼球，還帶來了一個名為“強化微調(diào)”的全新概念。
據(jù)OpenAI透露，強化微調(diào)是一種革命性的模型定制技術(shù)，旨在通過小規(guī)模特定領(lǐng)域數(shù)據(jù)的進一步訓練，將預訓練好的大型語言模型推向更高的專業(yè)化水平。這一過程好比讓一個博學多才的“通才”通過針對性訓練，成為某一領(lǐng)域的“頂尖專家”。
OpenAI高管形象地比喻，強化微調(diào)能將大型語言模型的能力從“高中水平”躍升至“博士級專家”的高度，為高校、研究人員和企業(yè)提供了量身打造AI解決方案的可能。例如，OpenAI正與湯森路透攜手，致力于開發(fā)一個專為法律領(lǐng)域定制的AI模型。
雖然OpenAI CEO Sam Altman并未現(xiàn)身此次直播，但他在社交媒體上難掩興奮之情，稱贊強化微調(diào)為“2024年最大的驚喜”，并期待看到人們基于這一技術(shù)構(gòu)建出的新奇應(yīng)用。
一位AI大模型應(yīng)用企業(yè)的創(chuàng)始人對36氪表示，強化微調(diào)對于普通用戶來說或許并不直接相關(guān)，但對于專業(yè)領(lǐng)域的工作者來說，卻是一項極具價值的新技術(shù)。它極大地降低了行業(yè)專家級大模型的實現(xiàn)難度。
在直播現(xiàn)場，OpenAI展示了強化微調(diào)的一個具體應(yīng)用案例——罕見遺傳病研究。通過與伯克利實驗室和德國Charité醫(yī)院的研究人員合作，OpenAI使用強化微調(diào)技術(shù)訓練了GPT o1 Mini模型。這個模型在推理罕見疾病成因方面表現(xiàn)出色，甚至超越了體積更大的GPT o1模型，展現(xiàn)了其在復雜病情診斷和理解方面的巨大潛力。
值得注意的是，強化微調(diào)與傳統(tǒng)微調(diào)方法有著本質(zhì)的不同。傳統(tǒng)微調(diào)往往只是讓模型“記住答案”，而強化微調(diào)則更注重訓練模型在特定領(lǐng)域中學會推理，從而找到正確答案。這一方法采用了兩個不同的數(shù)據(jù)集合：微調(diào)數(shù)據(jù)集和測試數(shù)據(jù)集。模型首先基于微調(diào)數(shù)據(jù)集進行訓練，然后通過測試數(shù)據(jù)集進行驗證，經(jīng)過反復自我推理訓練驗證，最終達到很高的性能水平。因此，即使在數(shù)據(jù)量有限的情況下（有時僅需幾十個樣本），強化微調(diào)也能實現(xiàn)顯著的性能提升。
然而，目前強化微調(diào)方案仍處于研究預覽階段，OpenAI計劃在2025年全面推出。為了進一步優(yōu)化模型性能，OpenAI正在邀請研究機構(gòu)、大學以及企業(yè)參與強化微調(diào)研究計劃，并希望與愿意共享數(shù)據(jù)集的組織合作。
OpenAI還展示了強化微調(diào)在多個領(lǐng)域的潛在應(yīng)用，包括金融、醫(yī)療、教育等。這些應(yīng)用不僅展示了強化微調(diào)技術(shù)的廣泛適用性，也為其未來的商業(yè)化應(yīng)用奠定了堅實基礎(chǔ)。
隨著強化微調(diào)技術(shù)的不斷成熟和推出，我們有理由相信，這一技術(shù)將在未來為各行各業(yè)帶來更加智能化、高效化的解決方案。
同時，OpenAI的開放合作態(tài)度也為這一技術(shù)的廣泛應(yīng)用提供了有力支持。通過邀請更多合作伙伴參與研究計劃，OpenAI旨在共同推動AI技術(shù)的創(chuàng)新與發(fā)展，為人類社會創(chuàng)造更多價值。
