日日操夜夜添-日日操影院-日日草夜夜操-日日干干-精品一区二区三区波多野结衣-精品一区二区三区高清免费不卡

公告:魔扣目錄網為廣大站長提供免費收錄網站服務,提交前請做好本站友鏈:【 網站目錄:http://www.ylptlb.cn 】, 免友鏈快審服務(50元/站),

點擊這里在線咨詢客服
新站提交
  • 網站:51998
  • 待審:31
  • 小程序:12
  • 文章:1030137
  • 會員:747

在分布式領域,我們難免會遇到并發量突增,對后端服務造成高壓力,嚴重甚至會導致系統宕機。為避免這種問題,我們通常會為接口添加限流、降級、熔斷等能力,從而使接口更為健壯。JAVA領域常見的開源組件有Netflix的hystrix,阿里系開源的sentinel等,都是蠻不錯的限流熔斷框架。

今天我們就基于redis組件的特性,實現一個分布式限流組件,名字就定為shield-ratelimiter。

百度架構師分享源碼實戰篇:通過分布式系統解決限流問題

 

原理

首先解釋下為何采用Redis作為限流組件的核心。

通俗地講,假設一個用戶(用IP判斷)每秒訪問某服務接口的次數不能超過10次,那么我們可以在Redis中創建一個鍵,并設置鍵的過期時間為60秒。

當一個用戶對此服務接口發起一次訪問就把鍵值加1,在單位時間(此處為1s)內當鍵值增加到10的時候,就禁止訪問服務接口。PS:在某種場景中添加訪問時間間隔還是很有必要的。我們本次不考慮間隔時間,只關注單位時間內的訪問次數。

需求

原理已經講過了,說下需求。

1、基于Redis的incr及過期機制開發 2、調用方便,聲明式 3、Spring支持

基于上述需求,我們決定基于注解方式進行核心功能開發,基于Spring-boot-starter作為基礎環境,從而能夠很好的適配Spring環境。

另外,在本次開發中,我們不通過簡單的調用Redis的java類庫API實現對Redis的incr操作。

原因在于,我們要保證整個限流的操作是原子性的,如果用Java代碼去做操作及判斷,會有并發問題。這里我決定采用Lua腳本進行核心邏輯的定義。

 

為何使用Lua

在正式開發前,我簡單介紹下對Redis的操作中,為何推薦使用Lua腳本。

1、減少網絡開銷: 不使用 Lua 的代碼需要向 Redis 發送多次請求, 而腳本只需一次即可, 減少網絡傳輸; 2、原子操作: Redis 將整個腳本作為一個原子執行, 無需擔心并發, 也就無需事務; 3、復用: 腳本會永久保存 Redis 中, 其他客戶端可繼續使用.

Redis添加了對Lua的支持,能夠很好的滿足原子性、事務性的支持,讓我們免去了很多的異常邏輯處理。對于Lua的語法不是本文的主要內容,

正式開發

到這里,我們正式開始手寫限流組件的進程。

1. 工程定義

項目基于maven構建,主要依賴Spring-boot-starter,我們主要在springboot上進行開發,因此自定義的開發包可以直接依賴下面這個坐標,方便進行包管理。版本號自行選擇穩定版。

2. Redis整合

由于我們是基于Redis進行的限流操作,因此需要整合Redis的類庫,上面已經講到,我們是基于Springboot進行的開發,因此這里可以直接整合RedisTemplate。

2.1 坐標引入

這里我們引入spring-boot-starter-redis的依賴。

2.2 注入CacheManager及RedisTemplate

新建一個Redis的配置類,命名為RedisCacheConfig,使用javaconfig形式注入CacheManager及RedisTemplate。為了操作方便,我們采用了Jackson進行序列化。代碼如下

注意要使用@Configuration 標注此類為一個配置類,當然你可以使用@Component , 但是不推薦,原因在于@Component 注解雖然也可以當作配置類,但是并不會為其生成CGLIB代理Class,而使用@Configuration ,CGLIB會為其生成代理類,進行性能的提升。

2.3 調用方Application.propertie需要增加Redis配置

我們的包開發完畢之后,調用方的application.properties需要進行相關配置如下:

如果有密碼的話,配置password即可。

這里為單機配置,如果需要支持哨兵集群,則配置如下,Java代碼不需要改動,只需要變動配置即可。注意 兩種配置不能共存!

3. 定義注解

為了調用方便,我們定義一個名為RateLimiter 的注解,內容如下

該注解明確只用于方法,主要有三個屬性。

1、key–表示限流模塊名,指定該值用于區分不同應用,不同場景,推薦格式為:應用名:模塊名:ip:接口名:方法名 2、limit–表示單位時間允許通過的請求數 3、expire–incr的值的過期時間,業務中表示限流的單位時間。

 

4. 解析注解

定義好注解后,需要開發注解使用的切面,這里我們直接使用aspectj進行切面的開發。先看代碼

這里是注入了RedisTemplate,使用其API進行Lua腳本的調用。

init() 方法在應用啟動時會初始化DefaultRedisScript,并加載Lua腳本,方便進行調用。

PS: Lua腳本放置在classpath下,通過ClassPathResource進行加載。

這里我們定義了一個切點,表示只要注解了@RateLimiter 的方法,均可以觸發限流操作。

這段代碼的邏輯為,獲取 @RateLimiter 注解配置的屬性:key、limit、expire,并通過redisTemplate.execute(RedisScriptscript,Listkeys,Object…args) 方法傳遞給Lua腳本進行限流相關操作,邏輯很清晰。

這里我們定義如果腳本返回狀態為0則為觸發限流,1表示正常請求。

5. Lua腳本

這里是我們整個限流操作的核心,通過執行一個Lua腳本進行限流的操作。腳本內容如下

邏輯很通俗,我簡單介紹下。

1、首先腳本獲取Java代碼中傳遞而來的要限流的模塊的key,不同的模塊key值一定不能相同,否則會覆蓋!2、redis.call(‘incr’, key1)對傳入的key做incr操作,如果key首次生成,設置超時時間ARGV[1];(初始值為1) 3、ttl是為防止某些key在未設置超時時間并長時間已經存在的情況下做的保護的判斷;4、每次請求都會做+1操作,當限流的值val大于我們注解的閾值,則返回0表示已經超過請求限制,觸發限流。否則為正常請求。

當過期后,又是新的一輪循環,整個過程是一個原子性的操作,能夠保證單位時間不會超過我們預設的請求閾值。

到這里我們便可以在項目中進行測試。

測試

這里我貼一下核心代碼,我們定義一個接口,并注解@RateLimiter(key=“ratedemo:1.0.0”,limit=5,expire=100) 表示模塊ratedemo:sendPayment:1.0.0 在100s內允許通過5個請求,這里的參數設置是為了方便看結果。實際中,我們通常會設置1s內允許通過的次數。

我們通過RestClient請求接口,日志返回如下:

根據日志能夠看到,正常請求5次后,返回限流觸發,說明我們的邏輯生效,對前端而言也是可以看到false標記,表明我們的Lua腳本限流邏輯是正確的,這里具體返回什么標記需要調用方進行明確的定義。

總結

我們通過Redis的incr及expire功能特性,開發定義了一套基于注解的分布式限流操作,核心邏輯基于Lua保證了原子性。達到了很好的限流的目的,生產上,可以基于該特點進行定制自己的限流組件,當然你可以參考本文的代碼,相信你寫的一定比我的demo更好!

分享到:
標簽:分布式 系統
用戶無頭像

網友整理

注冊時間:

網站:5 個   小程序:0 個  文章:12 篇

  • 51998

    網站

  • 12

    小程序

  • 1030137

    文章

  • 747

    會員

趕快注冊賬號,推廣您的網站吧!
最新入駐小程序

數獨大挑戰2018-06-03

數獨一種數學游戲,玩家需要根據9

答題星2018-06-03

您可以通過答題星輕松地創建試卷

全階人生考試2018-06-03

各種考試題,題庫,初中,高中,大學四六

運動步數有氧達人2018-06-03

記錄運動步數,積累氧氣值。還可偷

每日養生app2018-06-03

每日養生,天天健康

體育訓練成績評定2018-06-03

通用課目體育訓練成績評定