在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

高并發(fā)系統(tǒng)中的緩存 緩存系統(tǒng)存在的三大問題

西西 ? 來源:后端技術(shù)指南針 ? 作者:后端技術(shù)指南針 ? 2020-07-15 11:03 ? 次閱讀

1.無處不在的緩存

緩存在計算機系統(tǒng)是無處不在,在CPU層面有L1-L3的Cache,在Linux中有TLB加速虛擬地址和物理地址的轉(zhuǎn)換,在瀏覽器有本地緩存、手機有本地緩存等。

可見,緩存在計算機系統(tǒng)中有非常重要的地位,其主要作用是提高響應(yīng)速度、減少磁盤訪問等,本文主要討論在高并發(fā)系統(tǒng)中的緩存系統(tǒng)。

一句話概括緩存系統(tǒng)在高并發(fā)系統(tǒng)中的地位的話:如果高并發(fā)系統(tǒng)是烤羊肉串,那么緩存系統(tǒng)就是那一撮孜然。

2.高并發(fā)系統(tǒng)中的緩存

2.1 緩存系統(tǒng)的作用

緩存系統(tǒng)在高并發(fā)系統(tǒng)的作用很大,在某種程度上可以說沒有緩存系統(tǒng)很難支撐高并發(fā)場景。

基于機械磁盤或SSD的數(shù)據(jù)庫系統(tǒng),一般來說讀寫的速度遠慢于內(nèi)存,因此單純磁盤介質(zhì)的數(shù)據(jù)庫無法支撐很高的并發(fā),可以簡單認為緩存是保護磁盤數(shù)據(jù)庫的重要屏障。

對于一些基于LSM的存儲引擎數(shù)據(jù)庫來說,隨機寫改為順序?qū)懰俣忍嵘艽螅请S機讀仍然是個問題,所以緩存系統(tǒng)是很有必要的。

2.2 緩存系統(tǒng)訪問流程

實際場景也是讀多寫少,看看請求是如何得到響應(yīng)的,簡單看下交互流程:

請求到達之后,業(yè)務(wù)線程首先訪問緩存,如果緩存命中則返回

如果未命中則繼續(xù)請求磁盤數(shù)據(jù)庫系統(tǒng),獲取數(shù)據(jù)返回

從磁盤獲取數(shù)據(jù)后將結(jié)果回寫到緩存系統(tǒng)且增加老化時間,為下次請求做準(zhǔn)備

以上是高并發(fā)系統(tǒng)中緩存和磁盤數(shù)據(jù)庫系統(tǒng)、客戶端請求之間的交互過程,后續(xù)的問題分析,也是基于此過程展開的。

3.緩存系統(tǒng)的三大問題

網(wǎng)絡(luò)上對于緩存三大問題的文章很多,提到的三個問題主要是:

緩存雪崩 Cache Avalanche

緩存穿透 Cache Penetration

緩存擊穿 Hotspot Invalid

對于上面的三個名詞我一直分不清楚,腦海中并沒有清晰的區(qū)別。

于是想到去谷歌看看歪果仁是怎么說的,然而英文表述就是上面的英文,基本上和漢語翻譯是一樣的,所以只能強記,太難了。

3.1 緩存雪崩問題

所謂雪崩就是原來有所支撐的冰雪,某一瞬間失去依托,瞬間涌下來。

這個場景讓我想起了2011年上映的柯南劇場版《沉默的十五分鐘》,柯南在北澤村水庫為了拯救村莊制造的雪崩:

可見雪崩確實很可怕,回到高并發(fā)系統(tǒng),如果緩存系統(tǒng)故障,大量的請求無法從緩存完成數(shù)據(jù)請求,就全量洶涌沖向磁盤數(shù)據(jù)庫系統(tǒng),導(dǎo)致數(shù)據(jù)庫被打死,整個系統(tǒng)徹底崩潰。

3.2 緩存雪崩解決方案

造成緩存雪崩的主要原因是緩存系統(tǒng)不夠高可用,因此提高緩存系統(tǒng)的穩(wěn)定性和可用性十分必要,比如對于使用Redis作為緩存的系統(tǒng)而言可以使用哨兵機制、集群化、持久化等來提高緩存系統(tǒng)的HA。

除了保證緩存系統(tǒng)的HA之外,服務(wù)本身也需要支持降級,可以借助比如Hystrix來實現(xiàn)服務(wù)的熔斷、降級、限流來降低出現(xiàn)雪崩時的故障程度。

說白了就是別讓服務(wù)徹底死掉就行,就像大雪封高速肯定不能通行了,堵車慢一些至少可以走。

3.3 緩存穿透問題

穿透形象一點就是:請求過來了 轉(zhuǎn)了一圈 一無所獲 就像穿過透明地帶一樣。

在高并發(fā)系統(tǒng)中緩存穿透,如果一個req需要請求的數(shù)據(jù)在緩存中沒有,這時業(yè)務(wù)線程就會訪問磁盤數(shù)據(jù)庫系統(tǒng),然而磁盤數(shù)據(jù)庫也沒有這個數(shù)據(jù),無奈業(yè)務(wù)線程只能白白處理一圈。

如果某時段有大量惡意的不存在的key的集中請求,那么服務(wù)將一直處理這些根本不存在的請求,導(dǎo)致正常請求無法被處理,從而出現(xiàn)問題。

舉個栗子:

拉面館的服務(wù)員和廚師不允許拒絕已經(jīng)進來的消費者,但是拉面館的經(jīng)營范圍有限。此時惡意消費者點了一只5斤的澳洲龍蝦,經(jīng)過服務(wù)員和廚師都無法響應(yīng)這個需求,此時輪流來了1000個這樣的惡意消費者,拉面館基本要歇菜了。

3.4 緩存穿透解決方案

有效甄別是否存在這個key再決定是否讀取很重要,常見的做法有:

把不存在的key寫一下null,這樣再來就相當(dāng)于命中了,其實這種方法局限性很大,今天是5斤龍蝦,明天改成6斤的螃蟹,緩存系統(tǒng)和數(shù)據(jù)庫中存儲大量無用key本身是無意義的,所以一般不建議

另外一種思路,轉(zhuǎn)換為查找問題,類似于在海量數(shù)據(jù)中查找某個key是否存在,考慮空間復(fù)雜度和時間復(fù)雜度,一般選用布隆過濾器來實現(xiàn)。

布隆過濾器是個好東西,有非常多的用途,包括:垃圾郵件識別、搜索蜘蛛爬蟲url去重等,主要借助K個哈希函數(shù)和一個超大的bit數(shù)組來降低哈希沖突本身帶來的誤判,從而提高識別準(zhǔn)確性。

布隆過濾器也存在一定的誤判,假如判斷存在可能不一定存在,但是假如判斷不存在就一定不存在,因此剛好用在解決緩存穿透的key查找場景,事實上很多系統(tǒng)都是基于布隆過濾器來解決緩存穿透問題的。

3.5 緩存擊穿問題

緩存擊穿是這樣一種情況:

由于緩存系統(tǒng)中的熱點數(shù)據(jù)都有過期時間,如果沒有過期時間就造成了主存和緩存的數(shù)據(jù)不一致,因此過期時間一般都不會太長。

設(shè)想某時刻一批熱點數(shù)據(jù)同時在緩存系統(tǒng)中過期失效,那么這部分?jǐn)?shù)據(jù)就都將請求磁盤數(shù)據(jù)庫系統(tǒng)。

從描述上來看有點像微小規(guī)模的雪崩,但是對數(shù)據(jù)庫的壓力就很小了,只不過會影響并發(fā)性能,然而在多線程場景中緩存擊穿卻是經(jīng)常發(fā)生的,相反緩存穿透和雪崩頻率不如緩存擊穿,因此研究擊穿的現(xiàn)實意義更大一些。

3.6 緩存擊穿解決方案

可以采用的方案大概有幾種:

在設(shè)置熱點數(shù)據(jù)過期時間時盡量分散,比如設(shè)置100ms的基礎(chǔ)值,在此基礎(chǔ)上正負浮動10ms,從而降低相同時刻出現(xiàn)CacheMiss的key的數(shù)量。

另外一種做法是多線程加鎖,其中第一個線程發(fā)現(xiàn)CacheMiss之后進行加鎖,再從數(shù)據(jù)庫獲取內(nèi)容之后寫到緩存中,其他線程獲取鎖失敗則阻塞數(shù)ms之后再進行緩存讀取,這樣可以降低訪問數(shù)據(jù)數(shù)據(jù)庫的線程數(shù),需要注意在單機和集群需要使用不同的鎖,集群環(huán)境使用分布式鎖來實現(xiàn),但是由于鎖的存在也會影響并發(fā)效率。

一種方法是在業(yè)務(wù)層對使用的熱點數(shù)據(jù)查看是否即將過期,如果即將過期則去數(shù)據(jù)庫獲取最新數(shù)據(jù)進行更新并延長該熱點key在緩存系統(tǒng)中的時間,從而避免后面的過期CacheMiss,相當(dāng)于把事情提前解決了。

緩存擊穿的解決方法都有一定的權(quán)衡,實際中根據(jù)自己的需求來解決。

緩存擊穿的影響一般來說并不會太大,或許在你的服務(wù)跑了很久之后你才意識到會有緩存擊穿問題。

4.小結(jié)

緩存系統(tǒng)無論在實際工作中還是在面試中都是熱點內(nèi)容,緩存系統(tǒng)目的是為了讓訪問又準(zhǔn)又快,不要一味追求緩存命中率,緩存和主數(shù)據(jù)庫的數(shù)據(jù)一致性是需要重點考慮的。

總起來說,如何在保證數(shù)據(jù)正確性的前提下提高緩存命中率就是核心問題。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • Linux
    +關(guān)注

    關(guān)注

    87

    文章

    11462

    瀏覽量

    212802
  • 計算機系統(tǒng)
    +關(guān)注

    關(guān)注

    0

    文章

    290

    瀏覽量

    24524
  • 緩存
    +關(guān)注

    關(guān)注

    1

    文章

    245

    瀏覽量

    27041
收藏 人收藏

    評論

    相關(guān)推薦
    熱點推薦

    面試常問的緩存問題

    面試常問,緩存大問題及解決方案!
    發(fā)表于 06-28 16:41

    基于FC-AL系統(tǒng)FPGA的彈性緩存方案設(shè)計

    采用本地晶振和鎖相環(huán)產(chǎn)生的時鐘Clk2,作為其工作時鐘源。接收機在時鐘Clk1的上升沿把數(shù)據(jù)寫入彈性緩存,發(fā)送機在時鐘Clk2的上升沿從彈性緩存讀出數(shù)據(jù),從而實現(xiàn)數(shù)據(jù)的同步。雖然光纖通道仲裁環(huán)中
    發(fā)表于 07-05 08:23

    高速緩存/海量緩存的設(shè)計實現(xiàn)

    。  綜合考慮以上種高速緩存方案的性能、價格和實現(xiàn)方便性后,筆者選用第種方案(即高速SRAM切換方式)來構(gòu)成A/D采樣高速緩存系統(tǒng)的采
    發(fā)表于 12-04 15:59

    緩存的作用和設(shè)計模式

    (keyValueEntity.getId()));}return updateFlag ; }}Read-Throug模式當(dāng)應(yīng)用系統(tǒng)緩存系統(tǒng)請求數(shù)據(jù)時,如果緩存
    發(fā)表于 01-05 17:57

    聊聊環(huán)形緩存在單片機程序的使用

    片頭因為環(huán)形緩存在單片機程序的使用是非常有效的,非常有用的,關(guān)于這個話題在此專門開一文章來聊聊這個話題。環(huán)形緩存的用途主要是來緩存數(shù)據(jù),而需要緩存
    發(fā)表于 12-06 08:29

    渲染的幀緩存和深度緩存

    渲染涉及大量的緩存,這里緩存只是一個簡單的存有像素數(shù)據(jù)的矩形內(nèi)存塊,最重要緩存是幀緩存和深度緩存
    的頭像 發(fā)表于 05-14 11:44 ?6979次閱讀
    渲染<b class='flag-5'>中</b>的幀<b class='flag-5'>緩存</b>和深度<b class='flag-5'>緩存</b>

    淺談架構(gòu)設(shè)計緩存技術(shù)

    緩存在架構(gòu)設(shè)計占有重要地位。緩存在提升性能也扮演重要的角色。常見的有對資源的緩存,比如數(shù)據(jù)庫連接池、http連接池,還有對數(shù)據(jù)的
    的頭像 發(fā)表于 01-01 10:18 ?3174次閱讀
    淺談架構(gòu)設(shè)計<b class='flag-5'>中</b>的<b class='flag-5'>緩存</b>技術(shù)

    緩存系統(tǒng)座大山

    基于機械磁盤或SSD的數(shù)據(jù)庫系統(tǒng),一般來說讀寫的速度遠慢于內(nèi)存,因此單純磁盤介質(zhì)的數(shù)據(jù)庫無法支撐很高的并發(fā),可以簡單認為緩存是保護磁盤數(shù)據(jù)庫的重要屏障。
    的頭像 發(fā)表于 08-14 17:00 ?1812次閱讀
    <b class='flag-5'>緩存</b><b class='flag-5'>系統(tǒng)</b>的<b class='flag-5'>三</b>座大山

    Redis集群緩存方案,緩存常見問題盤點

    如今,緩存系統(tǒng)的應(yīng)用非常廣泛,能夠用來提高并發(fā)數(shù)、數(shù)據(jù)吞吐量,提高快速響應(yīng)能力。那么當(dāng)數(shù)據(jù)量達到一定程度,單機環(huán)境可能就顯得有些力不從心了,就需要一個分布式緩存
    發(fā)表于 12-16 10:48 ?2356次閱讀
    Redis集群<b class='flag-5'>緩存</b>方案,<b class='flag-5'>緩存</b>常見問題盤點

    如何設(shè)計一個緩存系統(tǒng)

    設(shè)計一個緩存系統(tǒng),不得不要考慮的問題就是:緩存穿透、緩存擊穿與失效時的雪崩效應(yīng)。 緩存穿透 緩存
    的頭像 發(fā)表于 02-08 11:40 ?3132次閱讀

    基于多級隊列的云服務(wù)并發(fā)量分級緩存機制

    基于多級隊列的云服務(wù)并發(fā)量分級緩存機制
    發(fā)表于 06-24 11:35 ?15次下載

    聊聊本地緩存和分布式緩存

    本地緩存 :應(yīng)用緩存組件,緩存組件和應(yīng)用在同一進程緩存的讀寫非常快,沒有網(wǎng)絡(luò)開銷。但各應(yīng)
    發(fā)表于 06-11 15:12 ?1036次閱讀
    聊聊本地<b class='flag-5'>緩存</b>和分布式<b class='flag-5'>緩存</b>

    如何使用緩存

    存放一個副本,當(dāng)該內(nèi)容下次被訪問時,不必連接到駐留網(wǎng)站,而是由Cache中保留的副本提供。 在企業(yè)Web應(yīng)用,通過緩存技術(shù)能夠提高請求的響應(yīng)速度;減少系統(tǒng)IO開銷;降低系統(tǒng)數(shù)據(jù)讀寫壓
    的頭像 發(fā)表于 10-08 14:07 ?854次閱讀

    mybatis一級緩存和二級緩存的原理

    于SqlSession的生命周期中,當(dāng)SqlSession關(guān)閉時,一級緩存也會被清空。 1.2 緩存實現(xiàn)機制 一級緩存采用了基于PerpetualCache的HashMap來實現(xiàn),使用一個Map對象來保存
    的頭像 發(fā)表于 12-03 11:55 ?1461次閱讀

    Redis緩存預(yù)熱+緩存雪崩+緩存擊穿+緩存穿透要點簡析

    緩存預(yù)熱就是系統(tǒng)上線后,提前將相關(guān)的緩存數(shù)據(jù)直接加載到緩存系統(tǒng)
    的頭像 發(fā)表于 12-25 09:41 ?1103次閱讀
    Redis<b class='flag-5'>緩存</b>預(yù)熱+<b class='flag-5'>緩存</b>雪崩+<b class='flag-5'>緩存</b>擊穿+<b class='flag-5'>緩存</b>穿透要點簡析
    主站蜘蛛池模板: 中国一级特黄剌激爽毛片 | 五月激情在线 | 免费视频淫片aa毛片 | 欧美激欧美啪啪片免费看 | 四虎在线视频 | 色偷偷亚洲男人 | 成人啪啪免费视频 | 国产一级特黄a大片免费 | 黑色丝袜美女被网站 | www.91久久| h视频免费观看 | 男女无遮挡在线完整视频 | 永久影视 | 9久久9久久精品 | 午夜精品在线 | 日本一区二区三区不卡在线看 | 亚洲精品成人a在线观看 | 亚洲男女免费视频 | 久久99精品福利久久久 | 国产美女久久久久 | 人人看人人干 | 欧洲性开放大片免费观看视频 | 美脚连裤袜老师正在播放 | 手机看片福利永久 | 亚洲国产精品久久久久婷婷软件 | 国产成人免费无庶挡视频 | 91大神精品长腿在线观看网站 | 爱我免费视频观看在线www | 黄色a站| 2020年亚洲天天爽天天噜 | 九九热免费在线观看 | 国产女主播在线播放一区二区 | 日本三级11k影院在线 | 九九福利 | 亚洲第一看片 | 四虎精品影院永久在线播放 | 一级特黄aaa大片在线观看 | 亚洲国产成人精品不卡青青草原 | 国产精品莉莉欧美自在线线 | 特级aaa毛片 | h在线视频|