劃重點(diǎn):
1. Transformer模型在處理長(zhǎng)序列時(shí)面臨的內(nèi)存需求挑戰(zhàn)，UC伯克利研究人員提出的RingAttention方法。
2. RingAttention通過(guò)將自注意力和前饋網(wǎng)絡(luò)計(jì)算塊塊地分布在多個(gè)設(shè)備上，實(shí)現(xiàn)了內(nèi)存高效，允許訓(xùn)練超過(guò)500倍長(zhǎng)度的序列。
3. RingAttention的潛在應(yīng)用領(lǐng)域，包括大型視頻-音頻-語(yǔ)言模型和理解科學(xué)數(shù)據(jù)。
（ChinaZ.com）10月20日 消息:UC伯克利的研究人員提出了一項(xiàng)名為RingAttention的新方法，以解決深度學(xué)習(xí)模型中內(nèi)存需求的挑戰(zhàn)。在最新的研究中，研究人員探討了Transformer模型在處理長(zhǎng)序列時(shí)面臨的問(wèn)題，特別是由于自注意力機(jī)制引發(fā)的內(nèi)存需求。這一問(wèn)題已經(jīng)成為了在人工智能領(lǐng)域中提高模型性能的一個(gè)重要挑戰(zhàn)。
Transformer模型是一種在自然語(yǔ)言處理等領(lǐng)域取得了重大突破的深度學(xué)習(xí)架構(gòu)。它基于自注意力機(jī)制，可以在進(jìn)行預(yù)測(cè)時(shí)權(quán)衡輸入序列的不同部分的重要性。然而，隨著輸入序列長(zhǎng)度的增加，內(nèi)存需求呈二次增長(zhǎng)，這導(dǎo)致了在處理長(zhǎng)序列時(shí)的挑戰(zhàn)。
UC伯克利的研究人員提出了RingAttention方法，通過(guò)將自注意力和前饋網(wǎng)絡(luò)計(jì)算分塊進(jìn)行，可以將輸入序列分布到多個(gè)設(shè)備上，從而實(shí)現(xiàn)內(nèi)存高效。這一方法的關(guān)鍵思想是將計(jì)算塊塊塊地分布在多個(gè)設(shè)備上，同時(shí)保持內(nèi)存消耗與塊大小成比例。這意味著每個(gè)設(shè)備的內(nèi)存需求與原始輸入序列長(zhǎng)度無(wú)關(guān)，從而消除了設(shè)備內(nèi)存的限制。
研究人員的實(shí)驗(yàn)證明，RingAttention可以將Transformer模型的內(nèi)存需求降低，使其能夠訓(xùn)練比以前的內(nèi)存高效方法長(zhǎng)500倍以上的序列，而不需要對(duì)注意力機(jī)制進(jìn)行近似。此外，RingAttention還允許處理長(zhǎng)度超過(guò)1億的序列，為處理大規(guī)模數(shù)據(jù)提供了可能性。
盡管這項(xiàng)研究?jī)H涉及方法的有效性評(píng)估，而未進(jìn)行大規(guī)模訓(xùn)練模型，但這一方法的性能取決于設(shè)備數(shù)量，因此還需要進(jìn)一步的優(yōu)化。研究人員表示，他們將來(lái)計(jì)劃在最大序列長(zhǎng)度和最大計(jì)算性能方面進(jìn)行更多研究，這將為大型視頻-音頻-語(yǔ)言模型、利用擴(kuò)展反饋和試驗(yàn)錯(cuò)誤學(xué)習(xí)、代碼生成和理解科學(xué)數(shù)據(jù)等領(lǐng)域提供激動(dòng)人心的機(jī)會(huì)。
論文網(wǎng)址:https://arxiv.org/abs/2310.01889
