在科技領(lǐng)域的一次重要聚會(huì)中，知乎攜手DataFun共同呈現(xiàn)了一場聚焦大模型應(yīng)用工程化實(shí)踐的深度技術(shù)沙龍。此次活動(dòng)匯聚了來自15個(gè)行業(yè)、130家企業(yè)的專業(yè)人士，共同探討了大模型技術(shù)從實(shí)驗(yàn)室邁向千萬級(jí)用戶產(chǎn)品的路徑。
知乎CTO孫斌在活動(dòng)現(xiàn)場帶來了一個(gè)振奮人心的消息：知乎自研的輕量高效大模型推理框架ZhiLight正式開源。這一消息標(biāo)志著知乎在大模型工程化實(shí)踐上的又一重要進(jìn)展。
知乎在2024年持續(xù)推進(jìn)大模型技術(shù)的落地應(yīng)用，先后推出了知乎直答和專業(yè)搜索功能。這些功能不僅聚焦于專業(yè)人士的生產(chǎn)力場景，更是將AI搜索推向了更具專業(yè)性和實(shí)用性的深度搜索階段。在沙龍上，知乎AI算法負(fù)責(zé)人王界武詳細(xì)介紹了知乎直答的搭建過程和技術(shù)方案選型。
王界武指出，在構(gòu)建AI問答系統(tǒng)時(shí)，知乎直答團(tuán)隊(duì)對(duì)比了LLM持續(xù)pretrain+posttrain與檢索增強(qiáng)生成（RAG）兩種方案，最終選擇了RAG方案。RAG系統(tǒng)通過從知識(shí)庫檢索相關(guān)信息作為上下文，再由大語言模型生成回答，顯著降低了AI的幻覺問題，提高了答案的準(zhǔn)確性和權(quán)威度。團(tuán)隊(duì)在Query理解、召回、大模型生成等多個(gè)環(huán)節(jié)進(jìn)行了深入優(yōu)化。
在專業(yè)搜索功能方面，知乎直答團(tuán)隊(duì)采用了多種前沿技術(shù)，實(shí)現(xiàn)了多智能體的協(xié)同工作，并支持信息查詢、內(nèi)容分析、數(shù)學(xué)計(jì)算等多種功能。同時(shí)，結(jié)合大語言模型的強(qiáng)大推理能力，對(duì)用戶的上下文和提問進(jìn)行深入分析，從多角度、多層次召回高質(zhì)量的內(nèi)容。
王界武還透露，知乎直答團(tuán)隊(duì)計(jì)劃將產(chǎn)品與社區(qū)深度融合，滿足更多場景下用戶找答案的需求，并在準(zhǔn)確性、時(shí)效性、交互模式等領(lǐng)域?qū)崿F(xiàn)更多升級(jí)。同時(shí)，將進(jìn)一步提升模型的推理能力，使知乎直答具備更強(qiáng)的解決復(fù)雜問題能力和使用體驗(yàn)。
在沙龍上，知乎自研的大模型推理框架ZhiLight也正式亮相。知乎機(jī)器學(xué)習(xí)平臺(tái)負(fù)責(zé)人王新介紹了ZhiLight的設(shè)計(jì)目標(biāo)和優(yōu)化重點(diǎn)。ZhiLight旨在快速部署與實(shí)踐LLaMa-like模型，并兼容OpenAI chat/completions接口，便于日常使用及與開源引擎的性能與穩(wěn)定性對(duì)比。
ZhiLight在PCIe卡間通訊優(yōu)化、內(nèi)存管理以及并發(fā)請求管理等方面進(jìn)行了深入優(yōu)化，并集成了FlashAttention、Marlin、TensorRT、exllama等開源項(xiàng)目。通過計(jì)算與通訊overlap和低精度通訊等手段，單層Transformer計(jì)算時(shí)間降低了40%以上。在模型規(guī)模達(dá)到70B時(shí)，ZhiLight在TTFT指標(biāo)上明顯優(yōu)于主流開源推理引擎。
百川智能大語言模型資深算法專家王宇龍?jiān)谏除埳戏窒砹藢?duì)Agent技術(shù)的探索。他認(rèn)為，基于LLM驅(qū)動(dòng)的智能體相較于傳統(tǒng)Agent，能夠利用大型語言模型的強(qiáng)大能力，徹底改變智能體的工作方式。這類智能體能夠在不同的任務(wù)之間切換，并通過理解自然語言來解決問題。
王宇龍還介紹了當(dāng)前Agent面臨的主要問題，并探討了Agent和LLM的底層細(xì)節(jié)。他認(rèn)為，人工智能有可能以新的方式發(fā)現(xiàn)并利用計(jì)算簡化的區(qū)域，從而做出近似和“大致正確”的預(yù)測。但AI在進(jìn)行精確、詳細(xì)的預(yù)測時(shí)會(huì)遇到困難，特別是在面對(duì)計(jì)算不可約性時(shí)。
在交流會(huì)上，“提示詞布道師”李繼剛也分享了關(guān)于Prompt的深刻見解。他提出“Prompt=表達(dá)”，并闡述了“表達(dá)=本意+文意+解意”以及“本意=經(jīng)驗(yàn)+詞匯+知識(shí)”的概念。他認(rèn)為，與大模型實(shí)現(xiàn)“共振”是Prompt設(shè)計(jì)的核心，即用最清晰、簡潔的表達(dá)指向核心本質(zhì)。
李繼剛還分享了Prompt的實(shí)戰(zhàn)經(jīng)驗(yàn)，認(rèn)為Prompt工程師應(yīng)具備人文和技術(shù)兩項(xiàng)基本素質(zhì)，既要能寫編程、具備理性數(shù)學(xué)的思維，又要會(huì)寫作、擁有感性表達(dá)的思維。
此次大模型技術(shù)沙龍不僅為與會(huì)者帶來了前沿的技術(shù)分享和深度交流，也展示了知乎在大模型應(yīng)用工程化實(shí)踐上的堅(jiān)實(shí)步伐。知乎將繼續(xù)加強(qiáng)與科技行業(yè)、技術(shù)從業(yè)者的交流聯(lián)動(dòng)，為互聯(lián)網(wǎng)行業(yè)前沿技術(shù)研發(fā)和應(yīng)用貢獻(xiàn)力量。
