（ChinaZ.com）8月17日 消息:來自新加坡科技設計大學和新加坡管理大學的研究人員發布了一篇題為《LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of Large Language Models》的論文。該論文介紹了一種名為 LLM-Adapters 的適配器系列，用于大型語言模型的參數高效微調。該適配器系列可在不影響模型性能的情況下減少微調所需的參數數量，從而提高微調效率。
代碼:https://github.com/AGI-Edgerunners/LLM-Adapters
LLM-Adapters 框架包含了最先進的開放訪問大型語言模型，如 LLaMA、BLOOM、OPT 和 GPT-J，以及廣泛使用的適配器，具體如下:
1、串聯適配器（Series Adapter）:在每個Transformer塊的多頭自注意力層和前饋層后串聯地添加瓶頸前饋層，如圖1(a)所示。
2、并行適配器（Parallel Adapter）: 如圖1(b)所示，將瓶頸前饋層與每個Transformer層的多頭自注意力層和前饋層并行地集成。
3、LoRA:如圖1（c）所示，向現有層中注入低秩可訓練矩陣，實現參數高效微調。
LLM-Adapters框架設計在研究、efficient、模塊化和可擴展方面表現良好，允許集成新的適配器和用新的更大規模的語言模型進行評估。
為了評估 LLM-Adapters 中的適配器的有效性，作者在6個數學推理數據集上進行了實驗。實驗結果表明，在簡單的數學推理任務上，使用較小規模語言模型的參數高效微調僅需要很少的可訓練參數，就能達到強大語言模型在零樣本推斷中可比的性能。總體而言，LLM-Adapters 框架提供了一個有希望的框架來微調大型語言模型用于下游任務。
核心功能:
適配器集成:將各種適配器（如 LoRA、AdapterH、AdapterP、Parallel）集成到 LLMs 中，提供靈活的模型適配能力。
參數高效微調:使用適配器進行參數高效微調，減少參數量，節省訓練時間和計算資源。
支持多種任務:適用于各種 NLP 任務，如語言生成、問答、機器翻譯等。
提供預訓練模型:集成了 LLaMa、OPT、BLOOM 和 GPT-J 等最先進的預訓練模型，可直接使用。
簡化模型訓練和推理:提供訓練和推理代碼示例，簡化模型訓練和推理流程。
LLM-Adapters 是一個強大的工具，可幫助用戶快速搭建和優化大型語言模型，并在各種 NLP 任務上取得優秀的性能。
