關(guān)鍵字: [symposium, Agenic, Ai基礎(chǔ)平臺(tái)構(gòu)建, 知識(shí)庫(kù)增強(qiáng), 工具使用能力, 智能體協(xié)作, 安全護(hù)欄保護(hù)]
本文字?jǐn)?shù): 1900, 閱讀完需: 10 分鐘
導(dǎo)讀在本次演講中,演講者介紹了Weee!公司如何在亞馬遜云科技專家的支持下,利用兩個(gè)月的時(shí)間快速構(gòu)建了一個(gè)基于AI的智能客服系統(tǒng)。他們首先搭建了一個(gè)AI基礎(chǔ)平臺(tái),集成了多種AI能力如工作流編排、知識(shí)庫(kù)管理、工具調(diào)用等,并引入了安全機(jī)制和性能追蹤機(jī)制。然后將該平臺(tái)與公司的業(yè)務(wù)系統(tǒng)集成,實(shí)現(xiàn)了智能客服的自動(dòng)響應(yīng)、流程標(biāo)準(zhǔn)化和客戶體驗(yàn)提升。最后,演講者分享了他們對(duì)AI智能體的評(píng)估方法,包括相似度和質(zhì)量?jī)蓚€(gè)指標(biāo),以及結(jié)合客服反饋持續(xù)優(yōu)化模型。
演講精華以下是小編為您整理的本次演講的精華，共1600字，閱讀時(shí)間大約是8分鐘。
在亞馬遜云科技的專家團(tuán)隊(duì)的支持下,一位演講者用兩個(gè)月的時(shí)間快速完成了一個(gè)智慧客服項(xiàng)目。他所在的公司于2015年成立,是美國(guó)領(lǐng)先的亞裔和西方人的電商平臺(tái),總部位于舊金山灣區(qū),致力于為北美家庭提供新鮮實(shí)惠的全球美食。與國(guó)內(nèi)的”盒馬生鮮”類似的電商平臺(tái)不同,該公司沒(méi)有線下店面,只有線下倉(cāng)儲(chǔ)和物流團(tuán)隊(duì),建立了一個(gè)多元文化融合的平臺(tái),讓不同族裔的人都能在這個(gè)平臺(tái)上買到自己喜歡的食物和食品。
演講者將分享分為三個(gè)部分:構(gòu)建自己的AI基礎(chǔ)平臺(tái);這個(gè)基礎(chǔ)平臺(tái)和智慧客服項(xiàng)目的應(yīng)用;關(guān)于AI智能體評(píng)估的實(shí)踐。他回顧了應(yīng)用發(fā)展的歷程,從單體架構(gòu)、CS架構(gòu)、BS架構(gòu),到微服務(wù)架構(gòu),每個(gè)階段都提供了相應(yīng)的理念和技術(shù)。但AI大模型的出現(xiàn),特別是”靈夢(mèng)”大模型和Agent技術(shù)的引入,讓我們需要重新思考架構(gòu)的發(fā)展和演進(jìn)。
經(jīng)過(guò)多輪探討,他們得出了一個(gè)名為”Agenic”的AI平臺(tái),依賴于提示詞工程、工具調(diào)用、工作流編排和知識(shí)庫(kù)增強(qiáng),通過(guò)基礎(chǔ)模型的迭代升級(jí),提供知識(shí)能力。這個(gè)平臺(tái)不再是組件或工具,而是像一個(gè)人在企業(yè)中生存,可以賦予它知識(shí)讓它成長(zhǎng),它又能像API模型為我們提供能力,回答各種問(wèn)題。
演講者介紹了”Agenic”的概念,我們都知道AI模型、GPT模型、亞馬遜云科技托管的CloudInc模型,以及Bloom模型等,它們已經(jīng)具備了自我反思和鏈?zhǔn)剿伎嫉哪芰?變得非常強(qiáng)大。但如果只是AI模型加上提示詞工程構(gòu)建的應(yīng)用,很難真正為業(yè)務(wù)賦能。在代碼生成領(lǐng)域,ChatGPT 3.5加上提示詞工程只能解決40%的問(wèn)題,升級(jí)到4.0后能解決60%的問(wèn)題。但當(dāng)引入Agenic Workflow這樣的AI智能體概念后,它能解決70%的問(wèn)題,且僅針對(duì)ChatGPT 3.5就能做到。
演講者分享了OpenAI科學(xué)家Lilian關(guān)于Agent定義的圖,認(rèn)為一個(gè)AI智能體需要具備四種能力:規(guī)劃能力、記憶能力(短期和長(zhǎng)期)、使用工具的能力,以及與其他Agent交互合作的能力。他們基于此構(gòu)建的AI基礎(chǔ)平臺(tái)架構(gòu)分為三層:底層是亞馬遜云科技提供的三大存儲(chǔ)(Amazon S3對(duì)象存儲(chǔ)、Amazon ElasticSearch服務(wù)、Amazon RDS關(guān)系數(shù)據(jù)庫(kù)服務(wù))等基礎(chǔ)技術(shù);中間層是基于這些存儲(chǔ)打造的AI知識(shí)庫(kù)、專有詞匯庫(kù)、向量數(shù)據(jù)庫(kù)(基于OpenSearch)等;最上層是工作流編排、繪畫管理、Prompt管理等八種能力,以及安全護(hù)欄(直接引用了Amazon Web Services Byterock中的Gario安全護(hù)欄技術(shù))、性能追蹤和質(zhì)量評(píng)測(cè)等三種邊緣控制力。
演講者還介紹了AI基礎(chǔ)平臺(tái)和業(yè)務(wù)系統(tǒng)集成的示例,以及部署架構(gòu)。他著重講解了RAG(Retrieval Augmented Generation)技術(shù),即通過(guò)檢索增強(qiáng)技術(shù)來(lái)補(bǔ)充AI缺少對(duì)企業(yè)知識(shí)和現(xiàn)有知識(shí)的能力。RAG包括Retrieval(召回)、Re-ranking(重排序)兩個(gè)步驟,能夠?qū)崿F(xiàn)高效的向量檢索和多路召回。他們的向量檢測(cè)速度能夠小于1秒,包含召回,整個(gè)first token的速度能夠小于500毫秒。在多路召回方面,他們使用了傳統(tǒng)的關(guān)鍵詞檢索技術(shù)(權(quán)重0.3)和最新的向量檢索技術(shù)(權(quán)重0.7)的結(jié)合。
在設(shè)計(jì)Prompt的原則方面,演講者強(qiáng)調(diào)要根據(jù)不同模型的調(diào)性來(lái)設(shè)計(jì)Prompt的格式,如使用監(jiān)控號(hào)或Markdown格式等。他還提出了Prompt中需要包含的幾個(gè)角色節(jié)點(diǎn),如Role、Instruction、Extraction、Response/Solution等,以引導(dǎo)模型進(jìn)行鏈?zhǔn)剿伎己妥晕曳此肌?/p>
演講者接著分享了他們的智慧客服項(xiàng)目,旨在提升響應(yīng)速度、流程標(biāo)準(zhǔn)化和客戶體驗(yàn)。在亞馬遜云科技專家的支持下,他們僅用兩個(gè)月時(shí)間就完成了AI基礎(chǔ)平臺(tái)搭建、P1優(yōu)化框架制定、知識(shí)庫(kù)鏈路制定、Agent測(cè)試和性能追蹤框架制定、引入安全護(hù)欄,以及基于ByteRock的多模型開(kāi)發(fā)等工作。有意思的是,整個(gè)Agent的設(shè)計(jì)完全由產(chǎn)品經(jīng)理一人完成。他們基于整個(gè)AI平臺(tái)的能力,通過(guò)API的形式將其暴露給調(diào)用端,調(diào)用端可以拿到所有AI Agent平臺(tái)的能力,以及Agent的管理能力。
演講者分享了一個(gè)AI智能體與客服系統(tǒng)集成的示例。當(dāng)客戶提出”我的訂單什么時(shí)候送達(dá)?時(shí)間已經(jīng)推遲了一個(gè)半小時(shí)了,還沒(méi)有快速開(kāi)始配送”的問(wèn)題時(shí),AI智能體經(jīng)過(guò)意圖識(shí)別、數(shù)據(jù)讀取、知識(shí)庫(kù)查詢后作出回復(fù):“非常抱歉,給你帶來(lái)不便。你的訂單[原因]。你需要登錄XX的app,然后點(diǎn)擊我的已發(fā)貨訂單查看物流。我們已將已經(jīng)將你的問(wèn)題反饋給了相關(guān)的物流部門,他們會(huì)重視這個(gè)問(wèn)題,并努力改善配送效果。”他們的AI平臺(tái)不僅可以使用外部工具如天氣預(yù)報(bào)、谷歌搜索,還可以使用內(nèi)部提供的工具能力,包括查詢訂單、客戶,甚至取消訂單退款等操作。
他們計(jì)劃分三個(gè)階段推進(jìn)AI智能體在客服領(lǐng)域的應(yīng)用:第一階段是客服對(duì)AI回復(fù)進(jìn)行確認(rèn);第二階段是AI直接回復(fù)客服郵件和工單;最終階段是推向即時(shí)溝通的聊天形式。
最后,演講者探討了AI評(píng)估的難點(diǎn)和方式。與傳統(tǒng)的基于斷言的測(cè)試不同,AI生成的回復(fù)是抽象的,很難用預(yù)期結(jié)果進(jìn)行評(píng)判。因此,他們引入了相似度和SOP(標(biāo)準(zhǔn)操作程序)質(zhì)量?jī)蓚€(gè)指標(biāo):將AI回復(fù)與客服歷史滿意回復(fù)進(jìn)行相似度對(duì)比,并根據(jù)業(yè)務(wù)規(guī)則的SOP列表進(jìn)行反向打分,再結(jié)合實(shí)際客服的點(diǎn)贊點(diǎn)踩,不斷優(yōu)化AI模型。
總的來(lái)說(shuō),這個(gè)項(xiàng)目展示了亞馬遜云科技在AI領(lǐng)域的領(lǐng)先地位,以及AI技術(shù)在企業(yè)級(jí)應(yīng)用中的巨大潛力。通過(guò)構(gòu)建AI基礎(chǔ)平臺(tái)、應(yīng)用于智慧客服等場(chǎng)景,并不斷優(yōu)化評(píng)估模型,企業(yè)能夠充分利用AI的強(qiáng)大能力,提升業(yè)務(wù)效率和客戶體驗(yàn)。
在這個(gè)過(guò)程中,演講者分享了一個(gè)客戶故事。去年平安夜,他忽然想買點(diǎn)東西吃,就開(kāi)車出去找超市。但發(fā)現(xiàn)很難找到一家開(kāi)門的超市,因?yàn)槠桨惨顾械某袔缀醵缄P(guān)門了。好不容易找到一家超市,進(jìn)去一看,沒(méi)有肉蛋奶,沒(méi)有柴米油鹽醬醋茶,只有各種咖喱和薯片之類的沒(méi)有味道的玉米薄片。這讓他意識(shí)到,該公司建立了一個(gè)很大的使命,就是建立一個(gè)平臺(tái),融合了多種少數(shù)族裔文化,讓各種族裔在一個(gè)平臺(tái)里能夠買到他喜歡吃的食物和食品。
這個(gè)項(xiàng)目中,演講者的團(tuán)隊(duì)還遇到了一個(gè)有趣的現(xiàn)象。在做GenAI的鏈接項(xiàng)目時(shí),他們發(fā)現(xiàn)AI永遠(yuǎn)不知道今年是今年,也不知道今天是今天。所以你讓它回答”幫我拿一下今年的某某數(shù)據(jù)”,它一定會(huì)拿當(dāng)前年份的數(shù)據(jù),因?yàn)樗恢澜衲晔悄囊荒辍Ｄ惚仨氃赑rompt里寫”你要知道今年是某某年,今天是某某日期”,否則它就會(huì)說(shuō)今年是它訓(xùn)練時(shí)的那一年。通過(guò)RAG技術(shù),他們能夠幫助AI增強(qiáng)對(duì)最新知識(shí)的理解能力。
總結(jié)亞馬遜云科技的 AI 出海項(xiàng)目 GenAI 生成式 AI 的探索之旅:
在 亞馬遜云科技 專家的支持下,我們用兩個(gè)月時(shí)間快速構(gòu)建了一個(gè)智慧客服項(xiàng)目,融合了 AI 大模型和傳統(tǒng) AI 技術(shù)。這個(gè)項(xiàng)目的核心是一個(gè) AI 基礎(chǔ)平臺(tái),它依賴于提示詞工程、工具調(diào)用、工作流編排和知識(shí)庫(kù)增強(qiáng),并具備保護(hù)用戶隱私和數(shù)據(jù)安全的能力。該平臺(tái)賦予了 AI 智能體規(guī)劃、記憶、工具使用和協(xié)作的能力,有助于更好地服務(wù)多元文化背景的客戶群體。
在智慧客服的應(yīng)用中,我們將 AI 智能體分解為多個(gè)小型智能體,以降低風(fēng)險(xiǎn)并提高可控性。目前處于第一階段,客服需確認(rèn) AI 回復(fù);未來(lái)將直接由 AI 回復(fù)郵件和工單,最終實(shí)現(xiàn)即時(shí)溝通。我們還探索了 AI 評(píng)估的新方法,引入相似度和質(zhì)量?jī)蓚€(gè)指標(biāo),結(jié)合客服反饋持續(xù)優(yōu)化模型。
總的來(lái)說(shuō),這個(gè)項(xiàng)目展示了 亞馬遜云科技 在 AI 出海領(lǐng)域的創(chuàng)新實(shí)踐,為企業(yè)賦能 AI 提供了有益探索。我們期待 AI 技術(shù)的不斷進(jìn)步,為客戶帶來(lái)更優(yōu)質(zhì)的服務(wù)體驗(yàn)。
亞馬遜云科技（Amazon Web Services）是全球云計(jì)算的開(kāi)創(chuàng)者和引領(lǐng)者。提供200多類廣泛而深入的云服務(wù)，服務(wù)全球245個(gè)國(guó)家和地區(qū)的數(shù)百萬(wàn)客戶。亞馬遜云科技致力于成為企業(yè)構(gòu)建和應(yīng)用生成式AI的首選，通過(guò)生成式AI技術(shù)棧，提供用于模型訓(xùn)練和推理的基礎(chǔ)設(shè)施服務(wù)、構(gòu)建生成式AI應(yīng)用的大模型等工具、以及開(kāi)箱即用的生成式AI應(yīng)用。深耕本地、鏈接全球 – 在中國(guó)，亞馬遜云科技通過(guò)安全、穩(wěn)定、可信賴的云服務(wù)，助力中國(guó)企業(yè)加速數(shù)字化轉(zhuǎn)型和創(chuàng)新，并深度參與全球化市場(chǎng)。
