近日，阿里巴巴開源了簡(jiǎn)化 GNN 應(yīng)用的新框架 Graph-Learn。該框架可從實(shí)際案例中提取解決方案，應(yīng)用于推薦系統(tǒng)、反欺騙等多個(gè)領(lǐng)域。相關(guān)代碼已經(jīng)可以在 GitHub 上下載。
近年來(lái)，圖神經(jīng)網(wǎng)絡(luò)（GNN）已經(jīng)在圖像分類、語(yǔ)義分割、推薦系統(tǒng)、程序推理乃至分子結(jié)構(gòu)預(yù)測(cè)等領(lǐng)域，都有著越來(lái)越廣泛的應(yīng)用。GNN 一般是將底層圖形作為計(jì)算圖，通過(guò)在圖上傳遞、轉(zhuǎn)換和聚合節(jié)點(diǎn)特征信息學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)基元以生成單個(gè)節(jié)點(diǎn)嵌入。生成的節(jié)點(diǎn)嵌入可以作為輸入，用于如節(jié)點(diǎn)分類或連接預(yù)測(cè)的任何可微預(yù)測(cè)層，完整的模型可以通過(guò)端到端的方式訓(xùn)練。
近日，阿里巴巴團(tuán)隊(duì)開源了 Graph-Learn（以下簡(jiǎn)稱 GL），這是一個(gè)用以簡(jiǎn)化圖神經(jīng)網(wǎng)絡(luò)應(yīng)用的新框架。它能夠從實(shí)際的案例中提取出解決方案，并且這些解決方案已在推薦、反欺騙和知識(shí)圖譜系統(tǒng)領(lǐng)域得到了應(yīng)用和驗(yàn)證。
GL 的可移植性和靈活性對(duì)于開發(fā)者來(lái)說(shuō)十分友好，在該框架的基礎(chǔ)上，開發(fā)者可以更輕松地實(shí)現(xiàn) GNN 算法、自定義與圖相關(guān)的運(yùn)算符，并且更輕松地拓展現(xiàn)有模塊。Container 和物理機(jī)上都可以安裝 GL。
項(xiàng)目地址：https://github.com/alibaba/graph-learn
模型示例
GCN
圖卷積網(wǎng)絡(luò)被認(rèn)為是基于深度學(xué)習(xí)的圖形結(jié)構(gòu)化數(shù)據(jù)方法最突出的進(jìn)展之一。GCN 上的卷積算子是頻譜圖卷積的部分近似。從空間角度來(lái)看，相鄰節(jié)點(diǎn)的嵌入被聚合在一起用以更新節(jié)點(diǎn)的自嵌入。
GAT
圖注意力網(wǎng)絡(luò)是 GCN 接下來(lái)的主要工作。GAT 將注意力機(jī)制融入了 GCN。通過(guò)計(jì)算節(jié)點(diǎn)之間的注意力系數(shù)，GAT 對(duì)節(jié)點(diǎn)及其相鄰進(jìn)行加權(quán)匯總，從而使得每個(gè)節(jié)點(diǎn)都能專注于最相關(guān)的相鄰項(xiàng)從而進(jìn)行決策。
GraphSAGE
GraphSAGE 是一個(gè)通用的歸納框架，可以有效地為之前無(wú)法可視化的數(shù)據(jù)生成節(jié)點(diǎn)嵌入。為了利用大規(guī)模圖形數(shù)據(jù)，GraphSAGE 會(huì)建議從原始圖形數(shù)據(jù)中采樣計(jì)算子圖形，然后進(jìn)行逐批訓(xùn)練。以及它還提出了通過(guò)幾個(gè) aggregators 來(lái)有選擇地聚合相鄰項(xiàng)的嵌入。
快速開始
以最流行的圖神經(jīng)網(wǎng)絡(luò)模型 GCN 為例，這部分展示一下如何基于 low-level 的 GL API 和深度學(xué)習(xí)框架（比如 TensorFlow）構(gòu)建圖學(xué)習(xí)模型。
如何創(chuàng)建一個(gè)基于學(xué)習(xí)的模型
需要執(zhí)行以下四個(gè)步驟：
采樣：使用內(nèi)置采樣函數(shù)采樣子圖（稱為 EgoGraph）。
團(tuán)隊(duì)抽象了四個(gè)基本函數(shù)，包括 sample_seed，positive_sample，negative_sample 和 receptive_fn。sample_seed 用于生成初始 Nodes 以及 Edges（一系列節(jié)點(diǎn)或邊緣），然后 positve_sample 將其用作輸入以生成樣本 Edges。negative_sample 函數(shù)可對(duì)非監(jiān)督模型的負(fù) Nodes 或 Edges 進(jìn)行采樣。GNN 需要聚集 nodes（edges）的相鄰信息以便更新 nodes 及 edges 嵌入，因此提供了 acceptive_fn 來(lái)采樣相鄰信息。種子 Nodes 和 Edges 以及采樣被統(tǒng)一組織為 EgoGraph。
圖形流：使用 EgoFlow 時(shí)會(huì)根據(jù)不同的后端將 EgoGraph 轉(zhuǎn)換為 EgoTensor。
GL 建模是基于 TensorFlow 等深度學(xué)習(xí)框架之上的。因此，需要將采樣的 EgoGraphs 轉(zhuǎn)換為張量格式 EgoTensor。團(tuán)隊(duì)將 EgoFlow 進(jìn)行此轉(zhuǎn)換。EgoFlow 還生成用于迭代訓(xùn)練和 pipeline 的 iterator。
定義編碼器：使用 EgoGraph 編碼器和功能編碼器對(duì) EgoTensor 進(jìn)行編碼。
獲取 EgoTensor 之后，需要定義從原始數(shù)據(jù)到嵌入的轉(zhuǎn)換例程。而對(duì)于 GNN 模型，此步驟是聚合節(jié)點(diǎn)并將其與自身節(jié)點(diǎn)的 nodes/edges 合并。
定義損失函數(shù)和訓(xùn)練：將編碼的嵌入內(nèi)容提供給損失函數(shù)及訓(xùn)練。
GL 內(nèi)置了一些常見的損失函數(shù)和優(yōu)化器，也可以自定義自己的損失函數(shù)和優(yōu)化器。同時(shí)支持本地和分布式培訓(xùn)。
主要概念
源數(shù)據(jù)
GL 支持多種數(shù)據(jù)格式，用以簡(jiǎn)化從原始數(shù)據(jù)到 Graph 對(duì)象的整個(gè)構(gòu)建過(guò)程。源數(shù)據(jù)放置在文件系統(tǒng)上，建模時(shí)，加載程序會(huì)將文件讀取為 StructuredAccessFile。
對(duì)于用戶而言，提供了兩類源數(shù)據(jù)：Node Source 以及 Edge Source。這里將其描述為 Node Source 和 Edge Source 支持的數(shù)據(jù)格式。
通常情況下，節(jié)點(diǎn)包含一個(gè) ID 以及多個(gè)描述實(shí)體的屬性。Edge 包含兩個(gè) ID，用于描述兩個(gè)節(jié)點(diǎn)之間的關(guān)系。Edges 也可能附加了屬性。例如，「用戶在星期六早上購(gòu)買了產(chǎn)品」。它使用了用戶和產(chǎn)品 ID 描述 Edge，「星期六早上」是該 Edge 的屬性。
除屬性外，GL 還支持源數(shù)據(jù)中的權(quán)重和標(biāo)簽。權(quán)重對(duì)于許多采樣算法很重要，而標(biāo)簽是監(jiān)督訓(xùn)練的必備條件。
如上所述，GL 使用 WEIGHTED，LABELED 和 ATTRIBUTED 作為基本 ID 的可選擴(kuò)展。
圖形對(duì)象
Graph 是一個(gè)組織原始數(shù)據(jù)的單元，用以啟用高級(jí)操作。GL 作業(yè)中只能存在一個(gè)且是唯一的 Graph 對(duì)象。能夠支持所有類型的圖，包括同構(gòu)圖，具有不同類型 nodes 或 edges 的異構(gòu)圖或是以及具有附加在 nodes 或 edges 上屬性的圖。提供豐富的 API 來(lái)提取有關(guān)圖形的信息。
通常來(lái)說(shuō)，創(chuàng)建圖形對(duì)象需要以下三個(gè)步驟：
聲明一個(gè) Graph 對(duì)象
描述出其拓?fù)湫?/p>
初始化數(shù)據(jù)
分布式模式
GL 支持分布式模式運(yùn)行的服務(wù)器或客戶端以及其任意組合。服務(wù)器角色負(fù)責(zé)加載和管理圖形。客戶端與深度學(xué)習(xí)框架在同一過(guò)程中運(yùn)行，以提供圖形數(shù)據(jù)進(jìn)行訓(xùn)練。在訓(xùn)練期間，將從客戶端生成數(shù)據(jù)的查詢或采樣請(qǐng)求，在服務(wù)器中對(duì)其進(jìn)行處理。最后，服務(wù)器的結(jié)果被聚合回客戶端。
「服務(wù)器」和「客戶端」只是 GL 中的邏輯層面的角色，它們也可以放在同一臺(tái)機(jī)器上。
