近日,16周年慶活動現場,愛數正式開源了認知智能開發框架KWeaver。KWeaver脫胎于愛數認知智能框架AnyDATA Framework 2,具有快速的開發能力、全面的開放性、高性能等特性,以成熟的數據知識化方法論和系列認知智能應用組件賦能數據科學家和應用開發者,以此降低領域認知智能應用開發的復雜度與人才門檻。開源后,KWeaver將作為普惠技術進一步賦能產業,人人都可以在 GitHub 上獲取。
長按識別二維碼跳轉
愛數在數據產業的布局與創新
2021年,愛數推出新愿景——以數據重塑生產力,共創智能世界。“數據”和“智能”作為愛數成長的兩個關鍵詞,很好地呼應了愛數的業務定位 Data+AI,即AI驅動,數據賦能。這個愿景背后,也蘊涵著愛數更高層次的追求:不僅要成長為一個典范企業,還應肩負起社會責任,讓技術驅動社會進步,用數據賦能人類生產力的提升。
在“Data”層面,愛數很早就開始了數據產業的布局,實現數據產業從0到1的創新。2019年愛數發布大數據基礎設施戰略,加速布局數據產業;2021年～2022年愛數基于領域認知智能技術成立北方大數據交易中心,搭建全國數據交易網絡體系;2022年愛數宣布以開源賦能產業,減低總體社會成本,實現客戶、伙伴等多方的可信協作。
在“AI”層面,愛數認知智能技術在近兩年也取得了較快的進展。2021年,愛數發布以領域知識網絡為核心技術的AnyDATA ONE,并與復旦大學成立聯合實驗室開展認知智能的研究。之后,又和天津大學成立聯合實驗室開展數據智能技術的研究。目前,愛數正在全球范圍招募人工智能博士,在長沙籌建人工智能研究院,以此推動領域認知智能技術的發展。
在此背景下,愛數一方面希望通過KWeaver的開源,整合全球智慧,將各行各業、各個領域不同的解題思路和方法模型融入愛數的認知智能框架,激發更多的創新與應用;另一方面也希望通過開源,讓愛數積累的技術成果走出愛數,面向更多的數據科學家、應用開發者和領域專家,為行業擁抱AI提供更多的可能。
領域認知驅動需要開源
經過幾十年的發展,人工智能從計算智能發展到感知智能,又從感知智能發展到認知智能。作為第三代人工智能,認知智能非常重要的特點之一,就是需要通過領域認知進行驅動。
“第三代人工智能的目標是要真正模擬人類的智能行為,我們必須充分地利用知識、數據、算法和算力,把四個因素充分利用起來,這樣才能夠解決不完全信息、不確定性環境和動態變化環境下面的問題,才能達到真正的人工智能。—— 張鈸院士”
在此背景下,領域認知智能成為新的解題思路,這也是愛數自2021年推出認知智能戰略后,聯合復旦大學、天津大學等高等院校專家不斷實踐摸索出的技術成果。領域認知智能,面向某一領域內具體的業務問題,通過獲取領域內的數據實現數據知識化形成領域知識網絡,再基于領域智商評估領域知識的質量,在此基礎上利用知識進行理解、推理和決策,從而開發出滿足用戶場景需求的領域認知智能應用,輔助人們解決特定的問題,提升生產力。
“認知智能的核心能力是“理解”和“解釋”,體現在機器能夠理解數據、理解語言進而理解現實世界的能力,體現在機器能夠解釋數據、解釋過程進而解釋現象的能力,體現在推理、規劃等等一系列人類所獨有的認知能力上。
——《知識圖譜與認知智能》,肖仰華,復旦大學教授,復旦愛數聯合研究研究中心主任”
然而,各行各業領域的眾多、專業領域之間的高壁壘,唯有通過開源,才能更加容易地讓不同行業、不同領域的開發者開發領域認知智能,從而也讓 KWeaver 不斷提升領域認知能力。對于愛數而言,一方面需要借助開源整合全球智慧;另一方面也可以通過開源開放自身的技術成果與積累,實現AI普惠全球。
愛數KWeaver 項目:開源的認知智能開發框架
KWeaver 是開源的認知智能開發框架,為數據科學家、應用開發者和領域專家提供具有快速的開發能力、全面的開放性和高性能的知識網絡生成及認知智能應用開發的工具與平臺。KWeaver名稱中,K代表的是Knowledge知識,Weaver代表編織者,意為將所有領域知識編織在一起,從而實現領域認知智能。
KWeaver面向數據科學家、應用開發者、領域專家三類用戶提供三種能力。
快速的開發能力:KWeaver提供可視化的知識網絡工作臺,可視化的認知智能應用開發調試工具,豐富的數據加工及模型訓練工具,以及所見即所得的API文檔;
全面的開放性: KWeaver源代碼是開源且技術透明的,這意味著參與項目的用戶可以查看全部技術細節,同時還支持多元異構數據源對接,提供SDK兼容更多的第三方知識抽取模型,提供 API 和 Web 組件的整合方式;
高性能:得益于愛數多年在云原生領域的積累,KWeaver的開發基于云原生技術,提供橫向擴展能力,采用分布式的計算引擎實現海量數據接入的處理能力。
通過KWeaver實現領域認知驅動涉及到兩個關鍵步驟。
第一是領域知識獲取。首先建立領域認知模型,基于模型進行數據加工抽取知識,對于不同來源的數據,加工的方式也會有很大不同,部分數據可以直接抽取,部分數據則需要通過深度學習模型,例如文本知識。加工完成后生成領域知識網絡。
第二是領域知識利用。基于知識網絡進行認知智能應用的開發,利用數據科學的方法開發模型,并將模型應用到推理、理解等具體場景。顯然,在數據領域認知智能并非替代原有的深度學習或機器學習,而是將兩者結合發揮更大的作用。KWeaver也會內置很多基于深度學習的知識抽取模型。
本次正式開源前,KWeaver已經伴隨愛數AnyDATA經歷了近3年的孵化和打磨,結合AnyShare、AnyRobot、AnyFabric等產品的能力實現諸多創新。如結合AnyShare在知識管理方面形成行業知識卡片、行業標簽、知識搜索等應用;結合AnyRobot在智能運維方面實現可持續進化的運維知識庫,以及運維中小概率事件的故障定位和根因分析;結合AnyFabric幫助用戶更好地編織數據,以資產圖譜的形式讓用戶更直觀全面的觀察和分析業務能力、數據質量等等。
16年專注,16年探索。從備份一體機到大數據基礎設施,從人工智能到領域認知智能,從傳統商業模式到KWeaver的正式開源,愛數始終在朝著“以數據重塑生產力,共創智能世界”的愿景不斷成長。未來,愛數將以更開放、包容的心態,通過更多的開源計劃實現技術共享,為數據產業的繁榮發展貢獻自己應盡的力量。
