【ITBEAR科技資訊】1月16日消息，網(wǎng)易有道公司今日宣布，其自主研發(fā)的知識庫問答引擎QAnything已經(jīng)正式開源，并可在Github開源社區(qū)免費(fèi)下載。這一引擎不僅支持云端大模型服務(wù)調(diào)用，同時還能實(shí)現(xiàn)純本地部署。
據(jù)悉，QAnything的部署過程極為簡便，僅需一鍵操作即可投入使用。該系統(tǒng)兼容多種文檔格式，如Word、PPT、Excel、PDF以及圖片等，用戶可將這些文檔直接導(dǎo)入系統(tǒng)，并體驗與“ChatGPT”類似的問答功能。為確保最佳性能，官方推薦使用配置為RTX 3090或更高級別的電腦進(jìn)行本地部署。
QAnything的核心技術(shù)基于檢索增強(qiáng)的生成(Retrieval Augmented Generation，簡稱RAG)框架。這一框架通過檢索外部內(nèi)容的方式，有效提升了大語言模型在準(zhǔn)確性、專業(yè)性和個性化等方面的表現(xiàn)。
網(wǎng)易有道指出，雖然通用大模型具備強(qiáng)大的能力，但卻無法利用用戶的私有數(shù)據(jù)，且存在產(chǎn)生虛構(gòu)信息的風(fēng)險。而QAnything則巧妙結(jié)合了用戶私有數(shù)據(jù)與大模型的優(yōu)勢，能夠?qū)⒂脩魮碛械母鞣N內(nèi)容，無論其存在形式如何，如文檔、音頻、數(shù)據(jù)庫等，都轉(zhuǎn)化為可通過問答方式使用的知識資源。這一技術(shù)框架使用戶能夠便捷地構(gòu)建自己的智能知識助手，實(shí)現(xiàn)“萬物皆可問”的目標(biāo)。
此次開源的QAnything是一套完整的RAG系統(tǒng)，包含了優(yōu)化后的自研embedding和rerank模型、經(jīng)過微調(diào)的大型語言模型(LLM)、優(yōu)化后的推理代碼、向量數(shù)據(jù)庫以及一個即用型前端。整套系統(tǒng)算法模型(包括7B大模型、embedding/rerank及OCR)的顯存占用不超過16GB。
據(jù)ITBEAR科技資訊了解，QAnything已經(jīng)在網(wǎng)易有道的多個產(chǎn)品中得到了應(yīng)用，包括有道翻譯文檔問答、有道速讀以及有道內(nèi)部業(yè)務(wù)的客服系統(tǒng)等，展現(xiàn)出了廣泛的應(yīng)用前景和實(shí)用價值。
