緩存簡介
隨著互聯網的普及，內容信息越來越復雜，用戶數和訪問量越來越大，我們的應用需要支撐更多的并發量，同時我們的應用服務器和數據庫服務器所做的計算也越來越多。但是往往我們的應用服務器資源是有限的，且技術變革是緩慢的，數據庫每秒能接受的請求次數也是有限的（或者文件的讀寫也是有限的），如何能夠有效利用有限的資源來提供盡可能大的吞吐量? 一個有效的辦法就是引入緩存，打破標準流程，每個環節中請求可以從緩存中直接獲取目標數據并返回，從而減少計算量，有效提升響應速度，讓有限的資源服務更多的用戶。
關鍵詞-命中率
命中率 = 命中數 / (命中數 + 沒有命中數)
影響緩存命中率的因素：
1、業務場景和業務需求
緩存通常適合讀多寫少的業務場景，反之的使用意義并不多，命中率會很低。業務需求也決定了實時性的要求，直接影響到過期時間和更新策略，實時性要求越低越適合緩存。
2、緩存的設計（策略和粒度）
通常情況下緩存的粒度越小，命中率越高。比如說緩存一個用戶信息的對象，只有當這個用戶的信息發生變化的時候才更新緩存，而如果是緩存一個集合的話，集合中任何一個對象發生變化都要重新更新緩存。
當數據發生變化時，直接更新緩存的值比移除緩存或者讓緩存過期它的命中率更高，不過這個時候系統的復雜度過高。
3、緩存的容量和基礎設施
緩存的容量有限就會容易引起緩存的失效和被淘汰。目前多數的緩存框架和中間件都采用LRU這個算法。同時采用緩存的技術選型也是至關重要的，比如采用本地內置的應用緩存，就比較容易出現單機瓶頸。而采用分布式緩存就更加容易擴展。所以需要做好系統容量規劃，系統是否可擴展。
最大空間
緩存最大空間一旦緩存中元素數量超過這個值（或者緩存數據所占空間超過其最大支持空間），那么將會觸發緩存啟動清空策略根據不同的場景合理的設置最大元素值往往可以一定程度上提高緩存的命中率，從而更有效的利用緩存。
緩存介質
雖然從硬件介質上來看，無非就是內存和硬盤兩種，但從技術上，可以分成內存、硬盤文件、數據庫。
1、內存：將緩存存儲于內存中是最快的選擇，無需額外的I/O開銷，但是內存的缺點是沒有持久化落地物理磁盤，一旦應用異常break down而重新啟動，數據很難或者無法復原。
2、硬盤：一般來說，很多緩存框架會結合使用內存和硬盤，在內存分配空間滿了或是在異常的情況下，可以被動或主動的將內存空間數據持久化到硬盤中，達到釋放空間或備份數據的目的。
3、數據庫：前面有提到，增加緩存的策略的目的之一就是為了減少數據庫的I/O壓力。現在使用數據庫做緩存介質是不是又回到了老問題上了? 其實，數據庫也有很多種類型，像那些不支持SQL，只是簡單的key-value存儲結構的特殊數據庫（如BerkeleyDB和redis），響應速度和吞吐量都遠遠高于我們常用的關系型數據庫等。
緩存淘汰算法
FIFO/LFU/LRU/過期時間/隨機
1、FIFO：最先進入緩存的數據，在緩存空間不足時被清除，為了保證最新數據可用，保證實時性
2、LFU(Least Frequently Used)：最近最不常用，基于訪問次數，去除命中次數最少的元素，保證高頻數據有效性
3、LRU(Least Recently Used)：最近最少使用，基于訪問時間，在被訪問過的元素中去除最久未使用的元素，保證熱點數據的有效性
緩存一致性問題
當數據時效性要求很高時，需要保證緩存中的數據與數據庫中的保持一致，而且需要保證緩存節點和副本中的數據也保持一致，不能出現差異現象。這就比較依賴緩存的過期和更新策略。一般會在數據發生更改的時，主動更新緩存中的數據或者移除對應的緩存。
緩存并發問題
緩存過期后將嘗試從后端數據庫獲取數據，這是一個看似合理的流程。但是，在高并發場景下，有可能多個請求并發的去從數據庫獲取數據，對后端數據庫造成極大的沖擊，甚至導致 “雪崩”現象。此外，當某個緩存key在被更新時，同時也可能被大量請求在獲取，這也會導致一致性的問題。那如何避免類似問題呢? 我們會想到類似“鎖”的機制，在緩存更新或者過期的情況下，先嘗試獲取到鎖，當更新或者從數據庫獲取完成后再釋放鎖，其他的請求只需要犧牲一定的等待時間，即可直接從緩存中繼續獲取數據。
緩存穿透問題
緩存穿透在有些地方也稱為“擊穿”。很多朋友對緩存穿透的理解是：由于緩存故障或者緩存過期導致大量請求穿透到后端數據庫服務器，從而對數據庫造成巨大沖擊。
這其實是一種誤解。真正的緩存穿透應該是這樣的：
在高并發場景下，如果某一個key被高并發訪問，沒有被命中，出于對容錯性考慮，會嘗試去從后端數據庫中獲取，從而導致了大量請求達到數據庫，而當該key對應的數據本身就是空的情況下，這就導致數據庫中并發的去執行了很多不必要的查詢操作，從而導致巨大沖擊和壓力。
可以通過下面的幾種常用方式來避免緩存傳統問題：
1、緩存空對象
對查詢結果為空的對象也進行緩存，如果是集合，可以緩存一個空的集合（非null），如果是緩存單個對象，可以通過字段標識來區分。這樣避免請求穿透到后端數據庫。同時，也需要保證緩存數據的時效性。這種方式實現起來成本較低，比較適合命中不高，但可能被頻繁更新的數據。
2、單獨過濾處理
對所有可能對應數據為空的key進行統一的存放，并在請求前做攔截，這樣避免請求穿透到后端數據庫。這種方式實現起來相對復雜，比較適合命中不高，但是更新不頻繁的數據。
緩存雪崩問題
緩存雪崩就是指由于緩存的原因，導致大量請求到達后端數據庫，從而導致數據庫崩潰，整個系統崩潰，發生災難。導致這種現象的原因有很多種，上面提到的“緩存并發”，“緩存穿透”，“緩存顛簸”等問題，其實都可能會導致緩存雪崩現象發生。這些問題也可能會被惡意攻擊者所利用。還有一種情況，例如某個時間點內，系統預加載的緩存周期性集中失效了，也可能會導致雪崩。為了避免這種周期性失效，可以通過設置不同的過期時間，來錯開緩存過期，從而避免緩存集中失效。
從應用架構角度，我們可以通過限流、降級、熔斷等手段來降低影響，也可以通過多級緩存來避免這種災難。
此外，從整個研發體系流程的角度，應該加強壓力測試，盡量模擬真實場景，盡早的暴露問題從而防范。
如若轉載，請注明出處：開源字節 https://sourcebyte.cn/article/231.html
