今天準(zhǔn)備談下ESB總線平臺(tái)建設(shè)項(xiàng)目中的服務(wù)運(yùn)行統(tǒng)計(jì)分析,服務(wù)心跳監(jiān)測(cè),服務(wù)監(jiān)控預(yù)警方面的設(shè)計(jì)和實(shí)現(xiàn)。可以看到,在一個(gè)ESB服務(wù)總線平臺(tái)上線后,SOA治理管控就變得相當(dāng)重要,而這些運(yùn)行監(jiān)控分析本身也是提升ESB總線平臺(tái)高可用性的關(guān)鍵。
對(duì)于ESB總線本身的高可用性建設(shè),我在前面寫過一篇文章可以參考。
大型集團(tuán)ESB服務(wù)總線平臺(tái)建設(shè)項(xiàng)目高可用性實(shí)踐總結(jié)
今天主要分享下對(duì)于這類大型ESB總線平臺(tái)建設(shè)項(xiàng)目在服務(wù)運(yùn)行統(tǒng)計(jì)分析,服務(wù)心跳監(jiān)測(cè),服務(wù)監(jiān)控,服務(wù)預(yù)警等配合高可用性能力方面的一些實(shí)踐總結(jié)。
對(duì)接口服務(wù)運(yùn)行統(tǒng)計(jì)分析的思考
對(duì)于ESB服務(wù)運(yùn)行監(jiān)控,從SOA服務(wù)管控和治理層面來看,經(jīng)常會(huì)涉及到的KPI性能指標(biāo)并不多,主要還是體現(xiàn)在運(yùn)行次數(shù),運(yùn)行時(shí)間等關(guān)鍵的維度,如果考慮到指標(biāo)本身之間的關(guān)聯(lián)關(guān)系方便分析,那么還需要增加服務(wù)運(yùn)行的并發(fā)數(shù)(分鐘級(jí)),服務(wù)調(diào)用的數(shù)據(jù)量等關(guān)鍵指標(biāo)。
舉例來說,當(dāng)我們發(fā)現(xiàn)服務(wù)調(diào)用變慢了,即服務(wù)運(yùn)行時(shí)間明顯增加了,那么我們需要分析是否是該服務(wù)本身的并發(fā)量是否增加了,還是說服務(wù)本身調(diào)用的數(shù)據(jù)量增加了,還是說其它服務(wù)調(diào)用的并發(fā)量和數(shù)據(jù)量增加了導(dǎo)致該服務(wù)的資源被占用等。這些都是可能需要涉及到關(guān)聯(lián)分析的地方。
首先我們來看下單次服務(wù)運(yùn)行能夠采集和記錄的關(guān)鍵數(shù)據(jù)
- 服務(wù)運(yùn)行時(shí)間(服務(wù)請(qǐng)求開始 to 服務(wù)請(qǐng)求結(jié)束)
- 服務(wù)運(yùn)行是否成功(True or False)
- 服務(wù)傳輸?shù)南?bào)文大小
- 服務(wù)名稱
- 服務(wù)提供的系統(tǒng),包括服務(wù)提供系統(tǒng)歸屬的組織類別等
- 服務(wù)消費(fèi)方系統(tǒng)
- 正常調(diào)用還是非法調(diào)用

接著再來看某個(gè)時(shí)間周期的情況,比如1個(gè)小時(shí),1天,1周或1個(gè)月的統(tǒng)計(jì)時(shí)間周期
- 運(yùn)行次數(shù),對(duì)運(yùn)行次數(shù)進(jìn)行求和
- 最大分鐘級(jí)并發(fā)數(shù),取并發(fā)數(shù)的Max值
- 異常數(shù),對(duì)異常數(shù)按時(shí)間點(diǎn)進(jìn)行求和
- 告警數(shù),對(duì)告警數(shù)按時(shí)間點(diǎn)進(jìn)行求和
- 服務(wù)最大運(yùn)行時(shí)間,最小運(yùn)行時(shí)間,平均運(yùn)行時(shí)間
- 服務(wù)消息報(bào)文最大報(bào)文,最小報(bào)文,平均報(bào)文容量
對(duì)于時(shí)間周期只我們我們統(tǒng)計(jì)的一個(gè)維度,而對(duì)服務(wù)進(jìn)行分析的時(shí)候還需要考慮如下維度
- 按服務(wù)目錄-》按服務(wù)
- 按企業(yè)-》子公司-》子組織
- 按應(yīng)用域-》按應(yīng)用系統(tǒng)-》按模塊
- 按服務(wù)類型-》服務(wù)子類型
- 按服務(wù)提供系統(tǒng),服務(wù)消費(fèi)系統(tǒng)
經(jīng)過以上分析,我們看到一個(gè)最底層的服務(wù)運(yùn)行日志信息,就有了按時(shí)間維度,按組織,服務(wù)類型,系統(tǒng)等多個(gè)維度進(jìn)行維度分析和統(tǒng)計(jì)的可能。而這些恰好又是我們進(jìn)行自定義報(bào)表和維度分析的基礎(chǔ)。所有的統(tǒng)計(jì)分析基本都會(huì)基于以上基礎(chǔ)運(yùn)行信息展開進(jìn)行。
基于以上思考,我們整合了一個(gè)面向組織和業(yè)務(wù)系統(tǒng)的服務(wù)運(yùn)行統(tǒng)計(jì)分析報(bào)表,可以按系統(tǒng)的維度詳細(xì)的查看到自己提供和消費(fèi)的接口服務(wù)的運(yùn)行情況,異常情況,并發(fā)量和數(shù)據(jù)量,異常和告警等各種關(guān)鍵信息。如下參考:

為了做完整的服務(wù)運(yùn)行和性能分析,我們最好還需要對(duì)中間件資源池(應(yīng)用服務(wù)器和數(shù)據(jù)庫服務(wù)器)的CPU,內(nèi)存利用率,存儲(chǔ)使用量等關(guān)鍵指標(biāo)進(jìn)行實(shí)時(shí)的性能分析和監(jiān)控。在實(shí)際的性能分析和監(jiān)控中往往也是首先會(huì)從CPU和內(nèi)存告警上第一時(shí)間反應(yīng)出服務(wù)當(dāng)前運(yùn)行出現(xiàn)異常(如大并發(fā),超大數(shù)據(jù)傳輸?shù)龋缓笪覀冊(cè)谕ㄟ^實(shí)際的日志監(jiān)控分析功能快速的查看當(dāng)前服務(wù)運(yùn)行的并發(fā)情況,傳遞的數(shù)據(jù)量情況等。
當(dāng)我們發(fā)現(xiàn)如果一個(gè)服務(wù)經(jīng)常運(yùn)行大并發(fā),大數(shù)據(jù)量的異常調(diào)用的時(shí)候,則需要對(duì)服務(wù)單獨(dú)啟用流量控制策略等。比如:
- 對(duì)服務(wù)傳輸?shù)臄?shù)據(jù)量及報(bào)文大小進(jìn)行流控。
- 對(duì)服務(wù)本身的并發(fā)量進(jìn)行流控。
- 對(duì)某個(gè)服務(wù)最大能夠使用的資源量進(jìn)行流控,防止單服務(wù)占滿所有資源。
服務(wù)運(yùn)行指標(biāo)勾稽關(guān)系分析
服務(wù)運(yùn)行指標(biāo)相關(guān)之間的關(guān)聯(lián)分析是我們進(jìn)行服務(wù)運(yùn)行問題排查,異常告警問題根源分析的基礎(chǔ)。在前面談SOA治理管控平臺(tái)中,我們?cè)?jīng)畫過一個(gè)圖來說明,服務(wù)運(yùn)行過程中的基礎(chǔ)物理資源,數(shù)據(jù)庫和應(yīng)用服務(wù)器中間件資源,服務(wù)運(yùn)行KPI和SLA設(shè)置之間的關(guān)聯(lián)關(guān)系,如下:

基于上圖,我們進(jìn)一步做下擴(kuò)展分析,先做下基本的關(guān)聯(lián)關(guān)系判別:
JVM內(nèi)存持續(xù)增加不釋放,一個(gè)是服務(wù)并發(fā)量增加同時(shí)服務(wù)調(diào)用時(shí)間增長(zhǎng),其次是出現(xiàn)大數(shù)據(jù)量,長(zhǎng)執(zhí)行時(shí)間的服務(wù)調(diào)用,導(dǎo)致服務(wù)連接和內(nèi)存無法快速回收。CPU使用率高升,但是內(nèi)存利用率一般,一般為出現(xiàn)大并發(fā)量的服務(wù)調(diào)用,其次對(duì)于服務(wù)調(diào)用過程中有過多的數(shù)據(jù)映射,轉(zhuǎn)換等處理導(dǎo)致CPU利用率增加。
服務(wù)調(diào)用運(yùn)行時(shí)間長(zhǎng),首先要分析是否是原始服務(wù)本身調(diào)用時(shí)間就變長(zhǎng),如果不是,則一般是在ESB服務(wù)調(diào)用上出現(xiàn)大量長(zhǎng)周期服務(wù)調(diào)用,但是連接不能快速是否,線程池滿一直排隊(duì)的情況。
如果JVM內(nèi)存溢出,首先要通過Jstat工具監(jiān)控下內(nèi)存GC回收的情況,究竟是新時(shí)代,老生代,還是PermSize出現(xiàn)溢出。如果是PermSize需要進(jìn)一步分析是否是程序本身有問題。
如果沒有做流量控制,單個(gè)服務(wù)本身的大并發(fā),大數(shù)據(jù)量調(diào)用往往會(huì)侵占所有資源,對(duì)整個(gè)ESB上其它運(yùn)行的服務(wù)都造成性能影響。
對(duì)于ESB總線本身的等待線程數(shù)增加一定會(huì)涉及到內(nèi)存持續(xù)增加,涉及到服務(wù)調(diào)用響應(yīng)周期增加。如果是服務(wù)調(diào)用超時(shí),則需要分析具體是在哪段引起的超時(shí),是原始服務(wù)本身超時(shí),還是在ESB中間件上進(jìn)行服務(wù)處理的時(shí)候超時(shí)。
對(duì)于服務(wù)告警和預(yù)警,前面也講到過,再強(qiáng)調(diào)下具體場(chǎng)景包括
- 服務(wù)單位時(shí)間運(yùn)行次數(shù)明顯增加,我們可以設(shè)置一個(gè)閾值,只要超過了就進(jìn)行報(bào)警。
- 服務(wù)運(yùn)行時(shí)間明顯增加,我們可以設(shè)置一個(gè)閾值,只要超過了就進(jìn)行報(bào)警。
- 服務(wù)單位時(shí)間數(shù)據(jù)量明顯增加,我們可以設(shè)置一個(gè)閾值,只要超過了就進(jìn)行報(bào)警。
注意對(duì)于服務(wù)告警策略可以是針對(duì)所有服務(wù),也可以是針對(duì)某個(gè)具體的服務(wù),對(duì)于閾值可以是一個(gè)百分比數(shù),也可以是一個(gè)絕對(duì)值。接下來我們?cè)倏聪路?wù)運(yùn)行各個(gè)指標(biāo)本身之間的一些關(guān)聯(lián)關(guān)系:
- 服務(wù)傳遞數(shù)據(jù)量大,一定帶來內(nèi)存增加
- 服務(wù)運(yùn)行時(shí)長(zhǎng)增加,同時(shí)更加容易引起服務(wù)調(diào)用超時(shí)。
- 服務(wù)調(diào)用并發(fā)量增加,服務(wù)調(diào)用時(shí)長(zhǎng)一般也會(huì)增加,如果時(shí)長(zhǎng)增加明顯,則一定導(dǎo)致內(nèi)存持續(xù)增加。單個(gè)服務(wù)本身的并發(fā)量增加,會(huì)引起ESB上線程排隊(duì)增加,導(dǎo)致直接影響到其它服務(wù)調(diào)用性能。
- 單個(gè)服務(wù)調(diào)用本身的數(shù)據(jù)量增加,容易引起JVM內(nèi)存持續(xù)增加,導(dǎo)致JVM內(nèi)存溢出。
- 如果是后端服務(wù)本身性能下降,最明顯的就是占有連接,資源不釋放,導(dǎo)致ESB本身性能下降。
而對(duì)于整個(gè)ESB中間件的性能監(jiān)控和分析,從最底層的IT基礎(chǔ)設(shè)施,存儲(chǔ)和服務(wù)器,到ESB中間件資源池,再到具體運(yùn)行的服務(wù)運(yùn)行包,相互之間存在密切的關(guān)聯(lián),需要達(dá)到的效果往往是第一時(shí)間反饋出預(yù)警。并且通過預(yù)警去采取后續(xù)的行動(dòng)措施和SLA策略設(shè)置等。
1. 從資源池監(jiān)控發(fā)現(xiàn)的CPU和內(nèi)存異常第一時(shí)間找到非法調(diào)用服務(wù)?

如果有CPU和內(nèi)存利用率出現(xiàn)異常,同時(shí)某個(gè)服務(wù)或某幾個(gè)服務(wù)出現(xiàn)運(yùn)行性能告警,那么我們就有了分析的依據(jù)究竟是哪個(gè)服務(wù)導(dǎo)致的。并快速定位到具體的服務(wù)。在定位到具體的服務(wù)后,可以再詳細(xì)查看服務(wù)調(diào)用的并發(fā)數(shù),數(shù)據(jù)量等信息,然后有針對(duì)性的對(duì)服務(wù)展開流量控制策略。
2. 如果JVM內(nèi)存持續(xù)上升而沒有釋放,如何快速定位到服務(wù)?
這個(gè)也是經(jīng)常遇到的問題,當(dāng)JVM內(nèi)存持續(xù)增加,或者連接數(shù)不斷的增加而不釋放的時(shí)候,如果我們不進(jìn)行及時(shí)的處理往往就導(dǎo)致整個(gè)JVM內(nèi)存溢出而影響到所有ESB服務(wù)的運(yùn)行。因此在這種場(chǎng)景下我們需要盡快的發(fā)現(xiàn)導(dǎo)致問題的服務(wù),并對(duì)服務(wù)采取相應(yīng)的措施。
3. 從服務(wù)運(yùn)行告警到自動(dòng)熔斷
為了不因?yàn)橐粋€(gè)具體服務(wù)的異常非法調(diào)用而影響到所有服務(wù)的運(yùn)行,對(duì)于單個(gè)服務(wù)在出現(xiàn)持續(xù)性的告警后,應(yīng)該有策略直接對(duì)該服務(wù)進(jìn)行熔斷處理。比如直接對(duì)服務(wù)進(jìn)行禁用處理。
增加實(shí)時(shí)的心跳檢查
在前面部分已經(jīng)詳細(xì)分析了服務(wù)本身的運(yùn)行并發(fā),次數(shù)和數(shù)據(jù)量與JVM內(nèi)存,與CPU和內(nèi)存利用率等各個(gè)關(guān)鍵指標(biāo)之間的勾稽關(guān)系。
這些指標(biāo)之間本身相互影響和作用,我們對(duì)指標(biāo)的監(jiān)控本身應(yīng)該是風(fēng)險(xiǎn)驅(qū)動(dòng)的,即在系統(tǒng)出現(xiàn)宕機(jī)或內(nèi)存溢出等故障問題前快速的發(fā)現(xiàn)問題并進(jìn)行處理。
因此,我們就需要對(duì)各種關(guān)鍵指標(biāo)進(jìn)行心跳監(jiān)控和實(shí)時(shí)預(yù)警。
對(duì)JVM內(nèi)存利用率進(jìn)行監(jiān)控
在前面我們已經(jīng)談到了,實(shí)際上出現(xiàn)JVM溢出的時(shí)候,往往會(huì)由于請(qǐng)求漂移影響到整個(gè)集群大量節(jié)點(diǎn)內(nèi)存溢出而導(dǎo)致集群不可用。
因此需要時(shí)刻監(jiān)控JVM內(nèi)存利用率的情況,如果發(fā)現(xiàn)JVM內(nèi)存持續(xù)在某個(gè)高位,無法通過Gc操作將內(nèi)存回收下來的時(shí)候就應(yīng)該實(shí)時(shí)進(jìn)行預(yù)警。
在預(yù)警后我們既可以進(jìn)行人工處理,也可以設(shè)置策略直接對(duì)問題節(jié)點(diǎn)進(jìn)行重啟操作。

如上,我們對(duì)所有集群節(jié)點(diǎn)的JVM內(nèi)存利用率進(jìn)行實(shí)時(shí)監(jiān)控,當(dāng)發(fā)現(xiàn)利用率持續(xù)大于70%的時(shí)候就進(jìn)行相應(yīng)的預(yù)警操作,如果超過80%就推送嚴(yán)重警告信息。
對(duì)后端業(yè)務(wù)系統(tǒng)和服務(wù)本身可用性監(jiān)控
其次,ESB服務(wù)總線如果出現(xiàn)服務(wù)調(diào)用異常,除了ESB總線本身的異常故障外,更大的可能性是后端業(yè)務(wù)系統(tǒng)不可用,或者說后端業(yè)務(wù)系統(tǒng)提供的業(yè)務(wù)服務(wù)不可用導(dǎo)致。
對(duì)于ESB總線本身,我們可以實(shí)時(shí)心跳檢查ESB總線暴露的服務(wù)可用性,如下:

如果是后端系統(tǒng)本身不可用,那么往往會(huì)快速的返回connection timeout異常信息,這樣不會(huì)影響到整個(gè)ESB總線平臺(tái)穩(wěn)定性。但是如果是后端業(yè)務(wù)系統(tǒng)服務(wù)假死或處于長(zhǎng)時(shí)間無響應(yīng)的狀態(tài),那么就會(huì)導(dǎo)致大量的連接無法釋放,最終導(dǎo)致資源被消耗完。
因此對(duì)后端系統(tǒng)和后端服務(wù)進(jìn)行實(shí)時(shí)心跳監(jiān)控也是有必要的。

不論是對(duì)于ESB集群還是后端業(yè)務(wù)系統(tǒng)的監(jiān)控,實(shí)際上都包括兩個(gè)方面的監(jiān)控,一個(gè)我們叫技術(shù)聯(lián)通性監(jiān)控,一個(gè)叫業(yè)務(wù)聯(lián)通性監(jiān)控。
技術(shù)連通性即是否出現(xiàn)conneciton timeout訪問超時(shí),是就返回異常。而對(duì)于業(yè)務(wù)聯(lián)通性,則是調(diào)用真實(shí)的某個(gè)業(yè)務(wù)服務(wù)接口,如果出現(xiàn)read time out則返回業(yè)務(wù)連通失敗錯(cuò)誤。
對(duì)服務(wù)運(yùn)行進(jìn)行實(shí)時(shí)心跳監(jiān)控
其次,我們還需要對(duì)服務(wù)運(yùn)行進(jìn)行實(shí)時(shí)心跳監(jiān)控,即時(shí)刻監(jiān)控服務(wù)運(yùn)行的并發(fā)量,數(shù)據(jù)量,運(yùn)行時(shí)長(zhǎng)等幾個(gè)關(guān)鍵數(shù)據(jù)指標(biāo)。
在前面已經(jīng)談到過以上幾個(gè)指標(biāo)本身存在勾稽關(guān)系,比如發(fā)現(xiàn)服務(wù)運(yùn)行平均時(shí)長(zhǎng)增加,那么很可能是服務(wù)并發(fā)量增加或調(diào)用數(shù)據(jù)量增加導(dǎo)致。其次,如果發(fā)現(xiàn)服務(wù)調(diào)用的消息報(bào)文數(shù)據(jù)量猛增,那么很可能導(dǎo)致服務(wù)運(yùn)行時(shí)長(zhǎng)增加。
因此需要對(duì)以上幾個(gè)關(guān)鍵指標(biāo)進(jìn)行實(shí)時(shí)監(jiān)控,時(shí)刻監(jiān)控是否發(fā)生了峰值突變情況。

當(dāng)發(fā)現(xiàn)了峰值或突變的時(shí)候,我們就需要進(jìn)行預(yù)警,并分析發(fā)生大并發(fā)或大數(shù)據(jù)量調(diào)用的原因并及時(shí)采取相應(yīng)的流量管控措施,以確保整個(gè)ESB平臺(tái)的穩(wěn)定性。
通過監(jiān)控大屏可視化實(shí)時(shí)監(jiān)控

監(jiān)控大屏更多的是展示基于服務(wù)集成層面的總覽數(shù)據(jù),同時(shí)對(duì)關(guān)鍵的異常告警信息,關(guān)鍵指標(biāo)心跳,關(guān)鍵指標(biāo)排名信息進(jìn)行展示。這些都應(yīng)該在Level1級(jí)層面的視圖或報(bào)表。
我們舉一個(gè)簡(jiǎn)單場(chǎng)景,一個(gè)企業(yè)實(shí)施了ESB總線后,集成了20個(gè)業(yè)務(wù)系統(tǒng),上100個(gè)服務(wù)接口,每天大概產(chǎn)生100萬條服務(wù)調(diào)用示例記錄,高峰時(shí)期的分鐘級(jí)并發(fā)在1萬次左右。
總線實(shí)際上和硬件類網(wǎng)關(guān)很類似,當(dāng)所有的服務(wù)調(diào)用全部都有經(jīng)過總線的時(shí)候,我們就更加關(guān)心總線上實(shí)際的實(shí)時(shí)并發(fā)量,數(shù)據(jù)流量大小數(shù)據(jù)。而且這兩個(gè)數(shù)據(jù)最好是要實(shí)現(xiàn)準(zhǔn)實(shí)時(shí)的監(jiān)控。以分鐘級(jí)為例,我們需要監(jiān)控分鐘級(jí)的服務(wù)調(diào)用次數(shù),分鐘級(jí)的服務(wù)調(diào)用傳輸數(shù)據(jù)量。
監(jiān)控著兩個(gè)指標(biāo)是否出現(xiàn)突然的峰值調(diào)用,如果沒有一般來說總線運(yùn)行本身也不好出現(xiàn)問題。如果出現(xiàn)了各種異常大并發(fā),大數(shù)據(jù)量調(diào)用,則一定會(huì)體現(xiàn)到我們的監(jiān)控時(shí)序圖上面。這兩個(gè)數(shù)據(jù)實(shí)際上是適合在大屏上面實(shí)時(shí)心跳檢測(cè)并顯示的。
對(duì)于大屏可視化展示,我們可以理解為總覽,即更多的是當(dāng)前ESB總線服務(wù),集成的業(yè)務(wù)系統(tǒng)的總體健康情況。因此在大屏上我們可以考慮對(duì)當(dāng)天的一些統(tǒng)計(jì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)展示。
這些統(tǒng)計(jì)數(shù)據(jù)包括了服務(wù)調(diào)用總次數(shù),平均時(shí)長(zhǎng),總數(shù)據(jù)量,平均數(shù)據(jù)量,分鐘級(jí)最大并發(fā),接入總系統(tǒng)數(shù),接入總服務(wù)數(shù),總異常數(shù),總告警次數(shù)等。對(duì)于異常告警往往是一個(gè)比較重要的展示內(nèi)容,特別是異常信息本身還分為了系統(tǒng)級(jí)的異常和業(yè)務(wù)級(jí)的異常,對(duì)于告警本身又分為嚴(yán)重,一般,輕微等各種級(jí)別的告警。這些都需要在大屏進(jìn)行一個(gè)統(tǒng)計(jì)的展示。
如果是做集團(tuán)到省兩級(jí)ESB總線實(shí)施,在大屏上我們就可以考慮來實(shí)現(xiàn)結(jié)合地圖的可視化效果展示。這個(gè)前面有文章說過,可以通過連線,端點(diǎn)節(jié)點(diǎn)大小,顏色等來體現(xiàn)服務(wù)調(diào)用流量,狀態(tài)等信息。

即使是單級(jí)ESB總線,在大屏展示的時(shí)候我們也需要考慮是否能夠展示一個(gè)集成架構(gòu)視圖,能夠展示出當(dāng)前總線集成的多個(gè)業(yè)務(wù)系統(tǒng),類似Bus總線的展示方式,可以通過該圖將集成的關(guān)鍵系統(tǒng)全部標(biāo)注出來。同時(shí)對(duì)于集成的系統(tǒng)上本身可以顯示更多的關(guān)鍵信息。
如果集成的業(yè)務(wù)系統(tǒng)用一個(gè)方框進(jìn)行展示,那么在方框里面可以考慮展示。
- 方框的顏色用于展示當(dāng)前提供服務(wù)的本身的異常和告警情況
- 方框內(nèi)可以顯示提供服務(wù)數(shù)和消費(fèi)服務(wù)數(shù)
- 方框內(nèi)可以顯示服務(wù)當(dāng)天的服務(wù)提供總次數(shù),峰值并發(fā)量
最后,大屏本身也可以展示一些列表數(shù)據(jù),但是從大屏可視化效果來說,列表數(shù)據(jù)不適合展示太多。可以考慮的列表數(shù)據(jù)展示主要包括了服務(wù)運(yùn)行次數(shù),服務(wù)調(diào)用異常,服務(wù)調(diào)用耗時(shí)或數(shù)據(jù)量的Top10排名信息顯示等。