在既有系統(tǒng)中打通Apache Ignite、MySQL和Node.js

本文由公眾號EAWorld翻譯發(fā)表，轉(zhuǎn)載需注明出處。

作者：Akmal B. Chaudhri

譯者：李玉玨

原題：Using 'No Rip and Replace' with Apache® Ignite™, MySQL and Node.js

原文：http://t.cn/Efatkx6

介紹

在本文中，可以看一下Ignite在處理其它數(shù)據(jù)源（比如關(guān)系數(shù)據(jù)庫）的已有數(shù)據(jù)時，一個很有用的場景。

通常在行業(yè)領(lǐng)域，很多系統(tǒng)還有著巨大的商業(yè)價值，它們必須得到維護甚至加強，未被開發(fā)的領(lǐng)域已經(jīng)很少見了。而Ignite可以用于組織中的遺留系統(tǒng)或傳統(tǒng)系統(tǒng)，以增加它們的價值并提供新的可能性，例如具有水平可擴展性的集群計算、顯著的內(nèi)存級性能優(yōu)勢以及使用機器和深度學(xué)習(xí)的新應(yīng)用等等。

具體可以看一個示例，其中在關(guān)系數(shù)據(jù)庫中已經(jīng)有了一些數(shù)據(jù)，然后了解Ignite如何將該數(shù)據(jù)緩存到內(nèi)存中，對該內(nèi)存數(shù)據(jù)執(zhí)行SQL操作并將更改回寫關(guān)系數(shù)據(jù)庫，這里將使用一些Node.js代碼來訪問Ignite并執(zhí)行一些SQL查詢。

已有的數(shù)據(jù)庫系統(tǒng)

本文中使用了MySQL，并且其中已經(jīng)準(zhǔn)備好了一個名為world的數(shù)據(jù)庫，里面已經(jīng)加載了部分?jǐn)?shù)據(jù)。

這個world數(shù)據(jù)庫的結(jié)構(gòu)為有三張關(guān)系表，具體如下：

country：代表世界上的國家（239行數(shù)據(jù)）；
city：代表國家的部分城市信息（4079行數(shù)據(jù)）；
countrylanguage：各個國家說的語言（984行數(shù)據(jù)）。

接下來，確認(rèn)MySQL是否已經(jīng)成功啟動，并接受外部連接。

Web控制臺和Web代理

為了訪問MySQL數(shù)據(jù)庫的模式信息，需要使用Ignite的Web控制臺，在本文中為了方便，使用的是GridGain托管的服務(wù)，不過Web控制臺的源代碼是可以下載的，可以在本地構(gòu)建然后在公司的防火墻后面運行，具體細(xì)節(jié)可以參見相關(guān)的文檔。

還需要一個Web代理，它可以從Web控制臺中下載，如下圖所示：

在既有系統(tǒng)中打通Apache Ignite、MySQL和Node.js

Web代理的zip包下載完成之后，可以解壓該文件，目錄結(jié)構(gòu)大致如下圖所示：

注意這里有個名為jdbc-drivers的目錄，因為本例需要訪問MySQL，所以需要下載MySQL的驅(qū)動，然后將jar文件放在該文件夾中，如下圖所示：

下面從終端窗口中啟動Web代理，如下：

./ignite-web-agent.sh

輸出大致如下圖所示：

從MySQL中導(dǎo)入模式

下面就可以導(dǎo)入模式信息了，在Web控制臺的Configuration頁面中，右上角有一個Import from Database按鈕，如下圖所示：

點擊該按鈕之后，輸出大致如下圖所示：

在這個界面中，需要輸入MySQL服務(wù)器的JDBC URL、User和Password，大致如下圖所示：

填完之后點擊Next，這時就會看到各個數(shù)據(jù)庫模式，然后把除了world模式之外的都取消掉，如下圖所示：

選好之后，點擊Next，就會看到3張表，如下圖所示：

對于本文來說，這頁面中的默認(rèn)值就可以了，然后點擊Next，這會跳到如下圖所示的頁面：

對于本文來說，這個頁面的默認(rèn)值就可以，然后點擊Save：

接下來在Configuration頁面，可以看到列出了一個新的名為ImportedCluster配置項，如下圖所示：

為了滿足業(yè)務(wù)需求，這個配置是可以修改的。

修改配置

如果點擊上圖中的ImportedCluster，就會跳轉(zhuǎn)到下面的頁面：

這個界面中有兩個選項卡：Basic和Advanced。

在Basic選項卡中，集群的配置名（第一步），如果往下滾動，Ignite存儲的名字（第二步），還有其它的若干個參數(shù)，都可以修改，在本例中，會維持這個頁面中的默認(rèn)值。

在Advanced選項卡中，還有其它的子項，包括Cluster、SQL Scheme、Caches、IGFS和GridGain，如下圖所示，如果需要，這里面的很多參數(shù)都可以微調(diào)：

這里選擇SQL Scheme選項卡，選中City這一行，如下圖所示，然后向下滾動并展開Domain model for SQL query部分：

這里有一個indexes子項，值為CountryCode，如果點擊它，可以進行修改，如下圖所示：

這里將索引名改為idx_country_code，然后點擊Save按鈕。接下來為Countrylanguage重復(fù)前圖和上圖的過程，將索引名改為idx_lang_country_code之后保存更改，做這些修改，可以確保索引名在整個Ignite模式中是唯一的。

下面選擇Caches選項卡，首先選擇CityCache，如下圖所示，然后往下滾動并展開Queries & Indexing部分：

在Queries & Indexing中，有一個值為空名為SQL schema name的字段，在這里輸入PUBLIC后保存變更，然后為CountryCache和CountrylanguageCache重復(fù)這個過程。

最后，返回到Configuration頁面，選中ImportedCluster然后在Actions下拉框中下載這個工程，如下圖所示：

這時會保存一個名為ImportedCluster-project.zip的文件，解壓這個文件之后就可以在IDE中通過讀取其中的pom.xml文件創(chuàng)建一個新的工程，如下圖所示：

在pom.xml文件中，在dependencies下面，需要檢查一下mysql-connector-JAVA依賴，如果缺失，需要加一下，如下所示：

<dependency> 
 <groupId>mysql</groupId> 
 <artifactId>mysql-connector-java</artifactId> 
 <version>8.0.15</version> 
</dependency>

這里的版本號匹配了之前使用的JDBC驅(qū)動的版本號。

在這個工程中，在resources文件夾下面，有一個名為secret.properties的文件，如下圖所示：

這里需要填入之前使用的JDBC URL、Username和Password，然后保存修改。

工程重新構(gòu)建之后，就可以啟動一個Ignite服務(wù)端節(jié)點，如下圖所示：

接下來，通過運行LoadCaches，可以把MySQL中的數(shù)據(jù)加載進Ignite存儲，如下圖所示：

在Web控制臺中，轉(zhuǎn)到Monitoring > Dashboard > Caches，可以看到Ignite存儲已經(jīng)創(chuàng)建并且數(shù)據(jù)也已經(jīng)成功加載，如下圖所示：

Ignite現(xiàn)在已經(jīng)運行起來，創(chuàng)建了存儲并且從MySQL中加載了數(shù)據(jù)，這時就可以通過任意數(shù)量不同的接口接入Ignite，不過本文會使用Node.js瘦客戶端。

Node.js瘦客戶端

使用Ignite提供的Node.js版本SQL示例作為模板，可以創(chuàng)建若干個Node.js應(yīng)用，然后執(zhí)行下表中列出的SQL查詢，完整的Node.js應(yīng)用代碼可以參見GitHub，在下面的例子中，該Node.js應(yīng)用在Ignite的Node.js示例文件夾中運行：

Q1：3個人口最多的國家

SELECT name, MAX(population) 
AS max_pop FROM country 
GROUP BY name, population 
ORDER BY max_pop 
DESC LIMIT 3

Q2：US、RUS和CHN中3個人口最多的城市

SELECT country.name, city.name, MAX(city.population) 
AS max_pop FROM country 
JOIN city ON city.countrycode = country.code 
WHERE country.code IN ('USA','RUS','CHN') 
GROUP BY country.name, city.name 
ORDER BY max_pop 
DESC LIMIT 3

Q3：更新國家名稱

SELECT country.name, city.name, MAX(city.population) 
AS max_pop FROM country 
JOIN city ON city.countrycode = country.code 
WHERE country.code IN ('USA','RUS','CHN') 
GROUP BY country.name, city.name 
ORDER BY max_pop 
DESC LIMIT 3

Q4：恢復(fù)國家名稱

UPDATE country 
SET name = 'United States' 
WHERE name = 'USA'

Q1的輸出如下圖所示：

Q2比Q1復(fù)雜些，包含了兩個表的關(guān)聯(lián)，Q2的輸出大致如下圖所示：

Q3執(zhí)行了一個更新操作，Q3執(zhí)行完之后，Ignite的緩存會被更新，并且更新會被回寫到MySQL中，保持兩者之間的同步。可以使用DBeaver確認(rèn)一下，首先在Country表中找到值為United States的行，如下圖所示：

Q3執(zhí)行完之后刷新一下DBeaver，可以看到Name字段的值已經(jīng)變?yōu)閁SA，如下圖所示：

Q4恢復(fù)了原來的值，通過執(zhí)行這個SQL然后刷新一下DBeaver可以進行驗證，如下圖所示：

下一步

通過修改和調(diào)整Ignite附帶的示例，可以進一步測試Node.js瘦客戶端。此外，Web控制臺提供了許多選項，可用于從現(xiàn)有數(shù)據(jù)庫系統(tǒng)微調(diào)和調(diào)整模式信息，具體可以參見Web控制臺的相關(guān)文檔。

總結(jié)

在本文中，了解了如何從現(xiàn)有的MySQL數(shù)據(jù)庫系統(tǒng)中獲取模式信息并創(chuàng)建一個Ignite工程。這個Ignite工程能夠?qū)?shù)據(jù)從MySQL服務(wù)器復(fù)制到Ignite存儲，然后在該數(shù)據(jù)中執(zhí)行查詢。從規(guī)模上看，Ignite可以利用集群計算的強大功能使操作并行化，在內(nèi)存中快速執(zhí)行查詢并進行分析，甚至機器和深度學(xué)習(xí)，同時還保留現(xiàn)有系統(tǒng)的商業(yè)價值。雖然在本示例中使用了Node.js瘦客戶端，不過Ignite還支持其它編程語言的瘦客戶端。

關(guān)于作者：李玉玨，大連理工大學(xué)畢業(yè)，架構(gòu)師，創(chuàng)業(yè)者，有豐富的架構(gòu)設(shè)計和技術(shù)研發(fā)團隊管理經(jīng)驗，有眾多行業(yè)領(lǐng)域企業(yè)級軟件的從業(yè)經(jīng)歷，社區(qū)技術(shù)翻譯作者以及撰稿人，開源技術(shù)貢獻者。Apache Ignite 技術(shù)中文文檔翻譯作者，長期在國內(nèi)進行 Ignite 技術(shù)的推廣/技術(shù)支持/咨詢工作。

關(guān)于EAWorld：微服務(wù)，DevOps，數(shù)據(jù)治理，移動架構(gòu)原創(chuàng)技術(shù)分享