明敏 發自 凹非寺
量子位 | 公眾號 QbitAI
大模型訓練推理要用多少內存？
打開這個網頁一測便知，測量誤差小至0.5MB。
比如模型bert-base-case Int8估計占用413.18 MB內存，實際占用為413.68MB，相差0.5MB，誤差僅有0.1%。
操作也很簡單，輸入模型名稱，選擇數據類型即可。
這就是HuggingFace Space上的最新火起來工具——Model Memory Calculator，模型內存測量器，在網頁端人人可體驗。
要知道，跑大模型最頭疼的問題莫過于：GPU內存夠嗎？
現在能先預估一波、誤差很小，讓不少人大呼“Great”！
實際推理內存建議多加20%
使用第一步，需要輸入模型的名稱。
目前支持搜索在HuggingFace Transformers庫和TIMM庫中的模型。
比如想要看GLM-6B的情況，可以輸入“THUDM/chatglm-6b”。
不過有一些模型會存在限制，需要獲取API token后才能開始計算，比如Llama-2-7b。
我們找了幾個大模型實測，可以看到當模型規模達到百億參數后，內存要求被直線拉高。
基礎版的BERT還是對GPU相當友好滴。
而在實際推理過程，EleutherAI發現需要在預測數據基礎上，預留20%的內存。具體舉例如下：
作者小哥熱衷開源項目
最后來介紹一下帶來這個項目的小哥Zach Mueller。
他本科畢業于西佛羅里達大學，主修軟件設計與開發，熱衷開源，在Github有1k粉絲。之前做過很多和Fast.ai框架有關的開源項目。
傳送門：
https://huggingface.co/spaces/hf-accelerate/model-memory-usage
— 完—
