【ITBEAR科技資訊】6月13日消息，近日，阿聯(lián)酋科技創(chuàng)新研究所(TII)成功研發(fā)出了一款具有里程碑意義的語言模型Falcon-40B，該模型在Hugging Face的OpenLLM排行榜上名列第一，并一直保持領(lǐng)先地位，勝過了LLaMA、StableLM和RedPajama等競爭對手。
據(jù)悉，F(xiàn)alcon-40B語言模型是利用384顆GPU進(jìn)行為期兩個(gè)月的訓(xùn)練，并利用近5億個(gè)Token進(jìn)行訓(xùn)練而成。為了提高訓(xùn)練質(zhì)量，研究團(tuán)隊(duì)自行構(gòu)建了一套工作流程，篩選出高質(zhì)量的數(shù)據(jù)，供AI模型進(jìn)行訓(xùn)練。經(jīng)過多個(gè)基準(zhǔn)測試，該模型在性能上表現(xiàn)出色，超過了LLaMA、Vicuna和Alpaca等模型。
此外，團(tuán)隊(duì)還引入了“多重查詢注意力”機(jī)制，以提高模型的效率。該機(jī)制允許模型對每個(gè)Token進(jìn)行多次查詢，從而更好地表示同一序列中不同Token之間的關(guān)系。這樣一來，模型在加速計(jì)算效率的同時(shí)降低了復(fù)雜性，進(jìn)而提升了整體的可維護(hù)性。
阿聯(lián)酋科技創(chuàng)新研究所首席執(zhí)行官Ray O. Johnson博士表示：“2023年將是人工智能之年。Falcon模型對我們來說具有里程碑意義，但這只是個(gè)開始?！?/p>
據(jù)ITBEAR科技資訊了解，F(xiàn)alcon模型已在Hugging Face平臺上開源，目前已有Falcon-7B-Instruct和Falcon-40B-Instruct等版本可供使用。這一突破將進(jìn)一步推動(dòng)人工智能領(lǐng)域的發(fā)展，并為相關(guān)領(lǐng)域的研究和創(chuàng)新提供有力支持。
