某省級(jí)城市商業(yè)銀行作為區(qū)域領(lǐng)先的金融機(jī)構(gòu)，積極擁抱人工智能（AI）技術(shù)，推動(dòng)業(yè)務(wù)創(chuàng)新與服務(wù)升級(jí)。為了推進(jìn)大模型項(xiàng)目的進(jìn)一步研究與實(shí)際應(yīng)用，銀行亟需建設(shè)一個(gè)能夠?qū)Ξ悩?gòu)算力統(tǒng)一調(diào)度管理的智算體系，盤活已有的異構(gòu)算力資源，支撐模型訓(xùn)練開發(fā)、打造推理一體化平臺(tái)。主要解決以下問題：
缺乏有效的資源調(diào)度策略，單卡 GPU 算力利用率低，資源浪費(fèi)問題突出。
資源動(dòng)態(tài)分配、多機(jī)聚合等靈活調(diào)度能力不足，難以匹配業(yè)務(wù)波動(dòng)需求。
開源方案穩(wěn)定性、隔離性欠佳，管理精細(xì)度不足，無法支撐大模型項(xiàng)目高標(biāo)準(zhǔn)需求。
打造金融 AI 模型訓(xùn)練推理平臺(tái)
在青云科技AI 智算平臺(tái)的支撐下，銀行成功打造了一款為金融行業(yè)量身定制的 AI 模型訓(xùn)練推理平臺(tái)。該平臺(tái)將銀行現(xiàn)有算力資源集成，通過構(gòu)建統(tǒng)一調(diào)度的管理資源池化層，實(shí)現(xiàn)了 GPU 資源的統(tǒng)一調(diào)度、靈活分配、彈性伸縮等云化能力。這一創(chuàng)新解決方案不僅滿足了不同時(shí)段、不同業(yè)務(wù)對(duì)資源的需求，更為上層全棧云平臺(tái)提供了穩(wěn)定、高效的 GPU 算力資源。
從資源提效到技術(shù)升級(jí)
資源利用率顯著提高。青云 AI 智算平臺(tái)支持虛擬 GPU 和物理 GPU 的調(diào)度與共享使用，通過平臺(tái)的統(tǒng)一調(diào)度和靈活分配，銀行能夠根據(jù)不同業(yè)務(wù)需求，快速調(diào)整資源配比，同時(shí)在云原生環(huán)境下實(shí)現(xiàn)了 GPU 的共享能力，多應(yīng)用并行使用資源，實(shí)現(xiàn)了資源的最大化利用。
運(yùn)維復(fù)雜度大幅降低。通過青云 AI 智算平臺(tái)自動(dòng)化、智能化的管理方式，銀行大幅降低了運(yùn)維復(fù)雜度，提高了運(yùn)維效率和工作質(zhì)量，進(jìn)一步釋放了人力。
無縫對(duì)接現(xiàn)有應(yīng)用。青云 AI 智算平臺(tái)兼容當(dāng)前 AI 應(yīng)用代碼和使用習(xí)慣，銀行無需對(duì)現(xiàn)有應(yīng)用大規(guī)模改造，即可享受平臺(tái)帶來的便利。
彌補(bǔ)技術(shù)短板。青云 AI 智算平臺(tái)在資源池化能力、國產(chǎn)芯片支持、安全隔離性等方面具有顯著優(yōu)勢(shì)，為銀行的大模型項(xiàng)目提供了強(qiáng)有力的技術(shù)支撐。
