今天準(zhǔn)備談下ESB總線平臺(tái)建設(shè)項(xiàng)目中的服務(wù)運(yùn)行統(tǒng)計(jì)分析，服務(wù)心跳監(jiān)測(cè)，服務(wù)監(jiān)控預(yù)警方面的設(shè)計(jì)和實(shí)現(xiàn)。可以看到，在一個(gè)ESB服務(wù)總線平臺(tái)上線后，SOA治理管控就變得相當(dāng)重要，而這些運(yùn)行監(jiān)控分析本身也是提升ESB總線平臺(tái)高可用性的關(guān)鍵。
對(duì)于ESB總線本身的高可用性建設(shè)，我在前面寫過一篇文章可以參考。
大型集團(tuán)ESB服務(wù)總線平臺(tái)建設(shè)項(xiàng)目高可用性實(shí)踐總結(jié)
今天主要分享下對(duì)于這類大型ESB總線平臺(tái)建設(shè)項(xiàng)目在服務(wù)運(yùn)行統(tǒng)計(jì)分析，服務(wù)心跳監(jiān)測(cè)，服務(wù)監(jiān)控，服務(wù)預(yù)警等配合高可用性能力方面的一些實(shí)踐總結(jié)。
對(duì)接口服務(wù)運(yùn)行統(tǒng)計(jì)分析的思考
對(duì)于ESB服務(wù)運(yùn)行監(jiān)控，從SOA服務(wù)管控和治理層面來看，經(jīng)常會(huì)涉及到的KPI性能指標(biāo)并不多，主要還是體現(xiàn)在運(yùn)行次數(shù)，運(yùn)行時(shí)間等關(guān)鍵的維度，如果考慮到指標(biāo)本身之間的關(guān)聯(lián)關(guān)系方便分析，那么還需要增加服務(wù)運(yùn)行的并發(fā)數(shù)(分鐘級(jí)），服務(wù)調(diào)用的數(shù)據(jù)量等關(guān)鍵指標(biāo)。
舉例來說，當(dāng)我們發(fā)現(xiàn)服務(wù)調(diào)用變慢了，即服務(wù)運(yùn)行時(shí)間明顯增加了，那么我們需要分析是否是該服務(wù)本身的并發(fā)量是否增加了，還是說服務(wù)本身調(diào)用的數(shù)據(jù)量增加了，還是說其它服務(wù)調(diào)用的并發(fā)量和數(shù)據(jù)量增加了導(dǎo)致該服務(wù)的資源被占用等。這些都是可能需要涉及到關(guān)聯(lián)分析的地方。
首先我們來看下單次服務(wù)運(yùn)行能夠采集和記錄的關(guān)鍵數(shù)據(jù)
- 服務(wù)運(yùn)行時(shí)間(服務(wù)請(qǐng)求開始 to 服務(wù)請(qǐng)求結(jié)束)
- 服務(wù)運(yùn)行是否成功(True or False)
- 服務(wù)傳輸?shù)南?bào)文大小
- 服務(wù)名稱
- 服務(wù)提供的系統(tǒng)，包括服務(wù)提供系統(tǒng)歸屬的組織類別等
- 服務(wù)消費(fèi)方系統(tǒng)
- 正常調(diào)用還是非法調(diào)用
接著再來看某個(gè)時(shí)間周期的情況，比如1個(gè)小時(shí)，1天，1周或1個(gè)月的統(tǒng)計(jì)時(shí)間周期
- 運(yùn)行次數(shù)，對(duì)運(yùn)行次數(shù)進(jìn)行求和
- 最大分鐘級(jí)并發(fā)數(shù)，取并發(fā)數(shù)的Max值
- 異常數(shù)，對(duì)異常數(shù)按時(shí)間點(diǎn)進(jìn)行求和
- 告警數(shù)，對(duì)告警數(shù)按時(shí)間點(diǎn)進(jìn)行求和
- 服務(wù)最大運(yùn)行時(shí)間，最小運(yùn)行時(shí)間，平均運(yùn)行時(shí)間
- 服務(wù)消息報(bào)文最大報(bào)文，最小報(bào)文，平均報(bào)文容量
對(duì)于時(shí)間周期只我們我們統(tǒng)計(jì)的一個(gè)維度，而對(duì)服務(wù)進(jìn)行分析的時(shí)候還需要考慮如下維度
- 按服務(wù)目錄-》按服務(wù)
- 按企業(yè)-》子公司-》子組織
- 按應(yīng)用域-》按應(yīng)用系統(tǒng)-》按模塊
- 按服務(wù)類型-》服務(wù)子類型
- 按服務(wù)提供系統(tǒng)，服務(wù)消費(fèi)系統(tǒng)
經(jīng)過以上分析，我們看到一個(gè)最底層的服務(wù)運(yùn)行日志信息，就有了按時(shí)間維度，按組織，服務(wù)類型，系統(tǒng)等多個(gè)維度進(jìn)行維度分析和統(tǒng)計(jì)的可能。而這些恰好又是我們進(jìn)行自定義報(bào)表和維度分析的基礎(chǔ)。所有的統(tǒng)計(jì)分析基本都會(huì)基于以上基礎(chǔ)運(yùn)行信息展開進(jìn)行。
基于以上思考，我們整合了一個(gè)面向組織和業(yè)務(wù)系統(tǒng)的服務(wù)運(yùn)行統(tǒng)計(jì)分析報(bào)表，可以按系統(tǒng)的維度詳細(xì)的查看到自己提供和消費(fèi)的接口服務(wù)的運(yùn)行情況，異常情況，并發(fā)量和數(shù)據(jù)量，異常和告警等各種關(guān)鍵信息。如下參考：
為了做完整的服務(wù)運(yùn)行和性能分析，我們最好還需要對(duì)中間件資源池(應(yīng)用服務(wù)器和數(shù)據(jù)庫服務(wù)器）的CPU，內(nèi)存利用率，存儲(chǔ)使用量等關(guān)鍵指標(biāo)進(jìn)行實(shí)時(shí)的性能分析和監(jiān)控。在實(shí)際的性能分析和監(jiān)控中往往也是首先會(huì)從CPU和內(nèi)存告警上第一時(shí)間反應(yīng)出服務(wù)當(dāng)前運(yùn)行出現(xiàn)異常（如大并發(fā)，超大數(shù)據(jù)傳輸?shù)龋缓笪覀冊(cè)谕ㄟ^實(shí)際的日志監(jiān)控分析功能快速的查看當(dāng)前服務(wù)運(yùn)行的并發(fā)情況，傳遞的數(shù)據(jù)量情況等。
當(dāng)我們發(fā)現(xiàn)如果一個(gè)服務(wù)經(jīng)常運(yùn)行大并發(fā)，大數(shù)據(jù)量的異常調(diào)用的時(shí)候，則需要對(duì)服務(wù)單獨(dú)啟用流量控制策略等。比如：
- 對(duì)服務(wù)傳輸?shù)臄?shù)據(jù)量及報(bào)文大小進(jìn)行流控。
- 對(duì)服務(wù)本身的并發(fā)量進(jìn)行流控。
- 對(duì)某個(gè)服務(wù)最大能夠使用的資源量進(jìn)行流控，防止單服務(wù)占滿所有資源。
服務(wù)運(yùn)行指標(biāo)勾稽關(guān)系分析
服務(wù)運(yùn)行指標(biāo)相關(guān)之間的關(guān)聯(lián)分析是我們進(jìn)行服務(wù)運(yùn)行問題排查，異常告警問題根源分析的基礎(chǔ)。在前面談SOA治理管控平臺(tái)中，我們?cè)?jīng)畫過一個(gè)圖來說明，服務(wù)運(yùn)行過程中的基礎(chǔ)物理資源，數(shù)據(jù)庫和應(yīng)用服務(wù)器中間件資源，服務(wù)運(yùn)行KPI和SLA設(shè)置之間的關(guān)聯(lián)關(guān)系，如下：
基于上圖，我們進(jìn)一步做下擴(kuò)展分析，先做下基本的關(guān)聯(lián)關(guān)系判別：
JVM內(nèi)存持續(xù)增加不釋放，一個(gè)是服務(wù)并發(fā)量增加同時(shí)服務(wù)調(diào)用時(shí)間增長(zhǎng)，其次是出現(xiàn)大數(shù)據(jù)量，長(zhǎng)執(zhí)行時(shí)間的服務(wù)調(diào)用，導(dǎo)致服務(wù)連接和內(nèi)存無法快速回收。CPU使用率高升，但是內(nèi)存利用率一般，一般為出現(xiàn)大并發(fā)量的服務(wù)調(diào)用，其次對(duì)于服務(wù)調(diào)用過程中有過多的數(shù)據(jù)映射，轉(zhuǎn)換等處理導(dǎo)致CPU利用率增加。
服務(wù)調(diào)用運(yùn)行時(shí)間長(zhǎng)，首先要分析是否是原始服務(wù)本身調(diào)用時(shí)間就變長(zhǎng)，如果不是，則一般是在ESB服務(wù)調(diào)用上出現(xiàn)大量長(zhǎng)周期服務(wù)調(diào)用，但是連接不能快速是否，線程池滿一直排隊(duì)的情況。
如果JVM內(nèi)存溢出，首先要通過Jstat工具監(jiān)控下內(nèi)存GC回收的情況，究竟是新時(shí)代，老生代，還是PermSize出現(xiàn)溢出。如果是PermSize需要進(jìn)一步分析是否是程序本身有問題。
如果沒有做流量控制，單個(gè)服務(wù)本身的大并發(fā)，大數(shù)據(jù)量調(diào)用往往會(huì)侵占所有資源，對(duì)整個(gè)ESB上其它運(yùn)行的服務(wù)都造成性能影響。
對(duì)于ESB總線本身的等待線程數(shù)增加一定會(huì)涉及到內(nèi)存持續(xù)增加，涉及到服務(wù)調(diào)用響應(yīng)周期增加。如果是服務(wù)調(diào)用超時(shí)，則需要分析具體是在哪段引起的超時(shí)，是原始服務(wù)本身超時(shí)，還是在ESB中間件上進(jìn)行服務(wù)處理的時(shí)候超時(shí)。
對(duì)于服務(wù)告警和預(yù)警，前面也講到過，再強(qiáng)調(diào)下具體場(chǎng)景包括
- 服務(wù)單位時(shí)間運(yùn)行次數(shù)明顯增加，我們可以設(shè)置一個(gè)閾值，只要超過了就進(jìn)行報(bào)警。
- 服務(wù)運(yùn)行時(shí)間明顯增加，我們可以設(shè)置一個(gè)閾值，只要超過了就進(jìn)行報(bào)警。
- 服務(wù)單位時(shí)間數(shù)據(jù)量明顯增加，我們可以設(shè)置一個(gè)閾值，只要超過了就進(jìn)行報(bào)警。
注意對(duì)于服務(wù)告警策略可以是針對(duì)所有服務(wù)，也可以是針對(duì)某個(gè)具體的服務(wù)，對(duì)于閾值可以是一個(gè)百分比數(shù)，也可以是一個(gè)絕對(duì)值。接下來我們?cè)倏聪路?wù)運(yùn)行各個(gè)指標(biāo)本身之間的一些關(guān)聯(lián)關(guān)系：
- 服務(wù)傳遞數(shù)據(jù)量大，一定帶來內(nèi)存增加
- 服務(wù)運(yùn)行時(shí)長(zhǎng)增加，同時(shí)更加容易引起服務(wù)調(diào)用超時(shí)。
- 服務(wù)調(diào)用并發(fā)量增加，服務(wù)調(diào)用時(shí)長(zhǎng)一般也會(huì)增加，如果時(shí)長(zhǎng)增加明顯，則一定導(dǎo)致內(nèi)存持續(xù)增加。單個(gè)服務(wù)本身的并發(fā)量增加，會(huì)引起ESB上線程排隊(duì)增加，導(dǎo)致直接影響到其它服務(wù)調(diào)用性能。
- 單個(gè)服務(wù)調(diào)用本身的數(shù)據(jù)量增加，容易引起JVM內(nèi)存持續(xù)增加，導(dǎo)致JVM內(nèi)存溢出。
- 如果是后端服務(wù)本身性能下降，最明顯的就是占有連接，資源不釋放，導(dǎo)致ESB本身性能下降。
而對(duì)于整個(gè)ESB中間件的性能監(jiān)控和分析，從最底層的IT基礎(chǔ)設(shè)施，存儲(chǔ)和服務(wù)器，到ESB中間件資源池，再到具體運(yùn)行的服務(wù)運(yùn)行包，相互之間存在密切的關(guān)聯(lián)，需要達(dá)到的效果往往是第一時(shí)間反饋出預(yù)警。并且通過預(yù)警去采取后續(xù)的行動(dòng)措施和SLA策略設(shè)置等。
1. 從資源池監(jiān)控發(fā)現(xiàn)的CPU和內(nèi)存異常第一時(shí)間找到非法調(diào)用服務(wù)？
如果有CPU和內(nèi)存利用率出現(xiàn)異常，同時(shí)某個(gè)服務(wù)或某幾個(gè)服務(wù)出現(xiàn)運(yùn)行性能告警，那么我們就有了分析的依據(jù)究竟是哪個(gè)服務(wù)導(dǎo)致的。并快速定位到具體的服務(wù)。在定位到具體的服務(wù)后，可以再詳細(xì)查看服務(wù)調(diào)用的并發(fā)數(shù)，數(shù)據(jù)量等信息，然后有針對(duì)性的對(duì)服務(wù)展開流量控制策略。
2. 如果JVM內(nèi)存持續(xù)上升而沒有釋放，如何快速定位到服務(wù)？
這個(gè)也是經(jīng)常遇到的問題，當(dāng)JVM內(nèi)存持續(xù)增加，或者連接數(shù)不斷的增加而不釋放的時(shí)候，如果我們不進(jìn)行及時(shí)的處理往往就導(dǎo)致整個(gè)JVM內(nèi)存溢出而影響到所有ESB服務(wù)的運(yùn)行。因此在這種場(chǎng)景下我們需要盡快的發(fā)現(xiàn)導(dǎo)致問題的服務(wù)，并對(duì)服務(wù)采取相應(yīng)的措施。
3. 從服務(wù)運(yùn)行告警到自動(dòng)熔斷
為了不因?yàn)橐粋€(gè)具體服務(wù)的異常非法調(diào)用而影響到所有服務(wù)的運(yùn)行，對(duì)于單個(gè)服務(wù)在出現(xiàn)持續(xù)性的告警后，應(yīng)該有策略直接對(duì)該服務(wù)進(jìn)行熔斷處理。比如直接對(duì)服務(wù)進(jìn)行禁用處理。
增加實(shí)時(shí)的心跳檢查
在前面部分已經(jīng)詳細(xì)分析了服務(wù)本身的運(yùn)行并發(fā)，次數(shù)和數(shù)據(jù)量與JVM內(nèi)存，與CPU和內(nèi)存利用率等各個(gè)關(guān)鍵指標(biāo)之間的勾稽關(guān)系。
這些指標(biāo)之間本身相互影響和作用，我們對(duì)指標(biāo)的監(jiān)控本身應(yīng)該是風(fēng)險(xiǎn)驅(qū)動(dòng)的，即在系統(tǒng)出現(xiàn)宕機(jī)或內(nèi)存溢出等故障問題前快速的發(fā)現(xiàn)問題并進(jìn)行處理。
因此，我們就需要對(duì)各種關(guān)鍵指標(biāo)進(jìn)行心跳監(jiān)控和實(shí)時(shí)預(yù)警。
對(duì)JVM內(nèi)存利用率進(jìn)行監(jiān)控
在前面我們已經(jīng)談到了，實(shí)際上出現(xiàn)JVM溢出的時(shí)候，往往會(huì)由于請(qǐng)求漂移影響到整個(gè)集群大量節(jié)點(diǎn)內(nèi)存溢出而導(dǎo)致集群不可用。
因此需要時(shí)刻監(jiān)控JVM內(nèi)存利用率的情況，如果發(fā)現(xiàn)JVM內(nèi)存持續(xù)在某個(gè)高位，無法通過Gc操作將內(nèi)存回收下來的時(shí)候就應(yīng)該實(shí)時(shí)進(jìn)行預(yù)警。
在預(yù)警后我們既可以進(jìn)行人工處理，也可以設(shè)置策略直接對(duì)問題節(jié)點(diǎn)進(jìn)行重啟操作。
如上，我們對(duì)所有集群節(jié)點(diǎn)的JVM內(nèi)存利用率進(jìn)行實(shí)時(shí)監(jiān)控，當(dāng)發(fā)現(xiàn)利用率持續(xù)大于70%的時(shí)候就進(jìn)行相應(yīng)的預(yù)警操作，如果超過80%就推送嚴(yán)重警告信息。
對(duì)后端業(yè)務(wù)系統(tǒng)和服務(wù)本身可用性監(jiān)控
其次，ESB服務(wù)總線如果出現(xiàn)服務(wù)調(diào)用異常，除了ESB總線本身的異常故障外，更大的可能性是后端業(yè)務(wù)系統(tǒng)不可用，或者說后端業(yè)務(wù)系統(tǒng)提供的業(yè)務(wù)服務(wù)不可用導(dǎo)致。
對(duì)于ESB總線本身，我們可以實(shí)時(shí)心跳檢查ESB總線暴露的服務(wù)可用性，如下：
如果是后端系統(tǒng)本身不可用，那么往往會(huì)快速的返回connection timeout異常信息，這樣不會(huì)影響到整個(gè)ESB總線平臺(tái)穩(wěn)定性。但是如果是后端業(yè)務(wù)系統(tǒng)服務(wù)假死或處于長(zhǎng)時(shí)間無響應(yīng)的狀態(tài)，那么就會(huì)導(dǎo)致大量的連接無法釋放，最終導(dǎo)致資源被消耗完。
因此對(duì)后端系統(tǒng)和后端服務(wù)進(jìn)行實(shí)時(shí)心跳監(jiān)控也是有必要的。
不論是對(duì)于ESB集群還是后端業(yè)務(wù)系統(tǒng)的監(jiān)控，實(shí)際上都包括兩個(gè)方面的監(jiān)控，一個(gè)我們叫技術(shù)聯(lián)通性監(jiān)控，一個(gè)叫業(yè)務(wù)聯(lián)通性監(jiān)控。
技術(shù)連通性即是否出現(xiàn)conneciton timeout訪問超時(shí)，是就返回異常。而對(duì)于業(yè)務(wù)聯(lián)通性，則是調(diào)用真實(shí)的某個(gè)業(yè)務(wù)服務(wù)接口，如果出現(xiàn)read time out則返回業(yè)務(wù)連通失敗錯(cuò)誤。
對(duì)服務(wù)運(yùn)行進(jìn)行實(shí)時(shí)心跳監(jiān)控
其次，我們還需要對(duì)服務(wù)運(yùn)行進(jìn)行實(shí)時(shí)心跳監(jiān)控，即時(shí)刻監(jiān)控服務(wù)運(yùn)行的并發(fā)量，數(shù)據(jù)量，運(yùn)行時(shí)長(zhǎng)等幾個(gè)關(guān)鍵數(shù)據(jù)指標(biāo)。
在前面已經(jīng)談到過以上幾個(gè)指標(biāo)本身存在勾稽關(guān)系，比如發(fā)現(xiàn)服務(wù)運(yùn)行平均時(shí)長(zhǎng)增加，那么很可能是服務(wù)并發(fā)量增加或調(diào)用數(shù)據(jù)量增加導(dǎo)致。其次，如果發(fā)現(xiàn)服務(wù)調(diào)用的消息報(bào)文數(shù)據(jù)量猛增，那么很可能導(dǎo)致服務(wù)運(yùn)行時(shí)長(zhǎng)增加。
因此需要對(duì)以上幾個(gè)關(guān)鍵指標(biāo)進(jìn)行實(shí)時(shí)監(jiān)控，時(shí)刻監(jiān)控是否發(fā)生了峰值突變情況。
當(dāng)發(fā)現(xiàn)了峰值或突變的時(shí)候，我們就需要進(jìn)行預(yù)警，并分析發(fā)生大并發(fā)或大數(shù)據(jù)量調(diào)用的原因并及時(shí)采取相應(yīng)的流量管控措施，以確保整個(gè)ESB平臺(tái)的穩(wěn)定性。
通過監(jiān)控大屏可視化實(shí)時(shí)監(jiān)控
監(jiān)控大屏更多的是展示基于服務(wù)集成層面的總覽數(shù)據(jù)，同時(shí)對(duì)關(guān)鍵的異常告警信息，關(guān)鍵指標(biāo)心跳，關(guān)鍵指標(biāo)排名信息進(jìn)行展示。這些都應(yīng)該在Level1級(jí)層面的視圖或報(bào)表。
我們舉一個(gè)簡(jiǎn)單場(chǎng)景，一個(gè)企業(yè)實(shí)施了ESB總線后，集成了20個(gè)業(yè)務(wù)系統(tǒng)，上100個(gè)服務(wù)接口，每天大概產(chǎn)生100萬條服務(wù)調(diào)用示例記錄，高峰時(shí)期的分鐘級(jí)并發(fā)在1萬次左右。
總線實(shí)際上和硬件類網(wǎng)關(guān)很類似，當(dāng)所有的服務(wù)調(diào)用全部都有經(jīng)過總線的時(shí)候，我們就更加關(guān)心總線上實(shí)際的實(shí)時(shí)并發(fā)量，數(shù)據(jù)流量大小數(shù)據(jù)。而且這兩個(gè)數(shù)據(jù)最好是要實(shí)現(xiàn)準(zhǔn)實(shí)時(shí)的監(jiān)控。以分鐘級(jí)為例，我們需要監(jiān)控分鐘級(jí)的服務(wù)調(diào)用次數(shù)，分鐘級(jí)的服務(wù)調(diào)用傳輸數(shù)據(jù)量。
監(jiān)控著兩個(gè)指標(biāo)是否出現(xiàn)突然的峰值調(diào)用，如果沒有一般來說總線運(yùn)行本身也不好出現(xiàn)問題。如果出現(xiàn)了各種異常大并發(fā)，大數(shù)據(jù)量調(diào)用，則一定會(huì)體現(xiàn)到我們的監(jiān)控時(shí)序圖上面。這兩個(gè)數(shù)據(jù)實(shí)際上是適合在大屏上面實(shí)時(shí)心跳檢測(cè)并顯示的。
對(duì)于大屏可視化展示，我們可以理解為總覽，即更多的是當(dāng)前ESB總線服務(wù)，集成的業(yè)務(wù)系統(tǒng)的總體健康情況。因此在大屏上我們可以考慮對(duì)當(dāng)天的一些統(tǒng)計(jì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)展示。
這些統(tǒng)計(jì)數(shù)據(jù)包括了服務(wù)調(diào)用總次數(shù)，平均時(shí)長(zhǎng)，總數(shù)據(jù)量，平均數(shù)據(jù)量，分鐘級(jí)最大并發(fā)，接入總系統(tǒng)數(shù)，接入總服務(wù)數(shù)，總異常數(shù)，總告警次數(shù)等。對(duì)于異常告警往往是一個(gè)比較重要的展示內(nèi)容，特別是異常信息本身還分為了系統(tǒng)級(jí)的異常和業(yè)務(wù)級(jí)的異常，對(duì)于告警本身又分為嚴(yán)重，一般，輕微等各種級(jí)別的告警。這些都需要在大屏進(jìn)行一個(gè)統(tǒng)計(jì)的展示。
如果是做集團(tuán)到省兩級(jí)ESB總線實(shí)施，在大屏上我們就可以考慮來實(shí)現(xiàn)結(jié)合地圖的可視化效果展示。這個(gè)前面有文章說過，可以通過連線，端點(diǎn)節(jié)點(diǎn)大小，顏色等來體現(xiàn)服務(wù)調(diào)用流量，狀態(tài)等信息。
即使是單級(jí)ESB總線，在大屏展示的時(shí)候我們也需要考慮是否能夠展示一個(gè)集成架構(gòu)視圖，能夠展示出當(dāng)前總線集成的多個(gè)業(yè)務(wù)系統(tǒng)，類似Bus總線的展示方式，可以通過該圖將集成的關(guān)鍵系統(tǒng)全部標(biāo)注出來。同時(shí)對(duì)于集成的系統(tǒng)上本身可以顯示更多的關(guān)鍵信息。
如果集成的業(yè)務(wù)系統(tǒng)用一個(gè)方框進(jìn)行展示，那么在方框里面可以考慮展示。
- 方框的顏色用于展示當(dāng)前提供服務(wù)的本身的異常和告警情況
- 方框內(nèi)可以顯示提供服務(wù)數(shù)和消費(fèi)服務(wù)數(shù)
- 方框內(nèi)可以顯示服務(wù)當(dāng)天的服務(wù)提供總次數(shù)，峰值并發(fā)量
最后，大屏本身也可以展示一些列表數(shù)據(jù)，但是從大屏可視化效果來說，列表數(shù)據(jù)不適合展示太多。可以考慮的列表數(shù)據(jù)展示主要包括了服務(wù)運(yùn)行次數(shù)，服務(wù)調(diào)用異常，服務(wù)調(diào)用耗時(shí)或數(shù)據(jù)量的Top10排名信息顯示等。
