在探索人工智能應用的征途中,個人和企業時常面臨一系列挑戰,如技術壁壘、模型選擇局限性、數據處理繁瑣、團隊協作不暢以及部署周期長等問題。為解決這些難題,一站式解決方案應運而生,它集多模型兼容性、高效數據處理和多用戶協作能力于一身,為用戶帶來前所未有的便捷。基石智算CoresHub,憑借其高度標準化的平臺與應用集成,為用戶提供了一個靈活且易于使用的開發環境,使他們能夠迅速獲取所需模型和AI應用。
以青云科技旗下的AI算力云——基石智算大模型服務中的DeepSeek-V3為例,本文將詳細介紹如何在AnythingLLM中調用該模型,并成功部署自己的AI應用。AnythingLLM作為一款即用型的一體化AI工具,集成了RAG(檢索增強生成)和AI代理等功能,無需編寫代碼或處理復雜的基礎設施,即可快速構建私有知識庫和智能問答系統。
AnythingLLM的亮點功能包括:支持云端、本地及自托管等多種部署方式;提供多用戶協作功能,適用于企業知識管理和客戶支持場景;兼容OpenAI、Anthropic、LocalAI等主流大模型;支持Weaviate等向量數據庫;可處理PDF、TXT、DOCX等多種文件格式;以及結合LLM響應緩存和對話標記功能的實時網絡搜索,為用戶提供高效的文檔管理和智能問答體驗。
要開始使用DeepSeek-V3模型,首先需要獲取API密鑰和域名。用戶需注冊并登錄基石智算平臺,導航至“產品與服務”>“大模型服務”>“大模型服務平臺”,然后在左側導航欄選擇“API密鑰管理”創建并獲取API密鑰。若平臺內已有可用密鑰,用戶可直接復制。接下來,在左側導航欄選擇“在線推理服務”,點擊目標模型卡片頁中的“API文檔”,即可查看預置模型的API服務接口路徑,即API域名。
接下來是安裝和使用AnythingLLM。用戶需訪問AnythingLLM官網,下載并安裝適用于自己操作系統的客戶端。安裝完成后,首次啟動客戶端并點擊“開始”。進入LLM偏好配置頁面,在“大語言模型供應商(LLM Poviders)”中選擇“Generic OpenAI”,并配置各項參數,包括Base URL(使用智算平臺上的預置模型API域名,無需修改)、API Key(從獲取API密鑰中復制的完整密鑰)、Chat Model Name(本例中為DeepSeek-V3,如需使用其他模型,可在智算平臺的在線推理服務頁面復制相應模型名稱)。其他參數可根據實際情況調整。完成所有配置后,輸入Workspace工作區名稱,即可進入主界面開始對話。
在工作區界面中,用戶可以通過點擊上傳按鈕,上傳文件并將其移動至工作區,從而加載到AnythingLLM的本地知識庫中。點擊“Save and Embed”完成配置。當提示“Workspace updated successfully”時,表示知識庫配置已完成。之后,用戶可以在工作區界面中點擊“New Thread”開啟新的對話,并在聊天區域中提問,AI大模型將根據知識庫中的內容進行回答。
對于非首次使用AnythingLLM的用戶,如需修改大模型供應商或所使用的模型,可以在工作區界面中點擊設置按鈕,在設置頁面選擇“人工智能提供商”>“LLM首選項”,然后修改相應的模型配置參數即可。