CDN緩存服務(wù)器圖片存儲一致性hash算法的理解
用hash做緩存，假如有三臺服務(wù)器，1,2,3，有三萬張圖片，我想將圖片平均緩存到我三臺服務(wù)器上，一個服務(wù)器大概一萬張，怎么去實現(xiàn)這個辦法呢，可以用hash來取余數(shù)進行操作，加入我們是以圖片的名字作為key進行hash計算，hash (圖片名稱)%N 其中N為我們服務(wù)器的個數(shù)，我們將hash(圖片名稱)這一部分進行計算后得到的是一個正數(shù)，然后除以服務(wù)器的數(shù)目進行取余數(shù)，結(jié)果將會是0,1,2三個數(shù)，對應(yīng)我們的服務(wù)器的編號，當(dāng)我們作為客戶端去請求圖片的時候，圖片已經(jīng)進行過hash運算了，直接找到對應(yīng)服務(wù)器的編號進行圖片的訪問，這樣解決了我需要遍歷所有的服務(wù)器進行查找。
那如果我緩存的服務(wù)器的數(shù)量減少或者增加，如果還是按照原來的算法走，必定會造成緩存數(shù)據(jù)的丟失，會去向后端的服務(wù)器去請求，如果有一臺緩存服務(wù)器發(fā)生了故障，那我原來緩存的位置必定會發(fā)生改變，原來本該運算后要進行緩存到某一臺服務(wù)器的圖片，現(xiàn)在找不到對應(yīng)緩存服務(wù)器，肯定會發(fā)生緩存的雪崩
所以出現(xiàn)了一致性hash算法相當(dāng)于將服務(wù)器和圖片分別hash到我的hash環(huán)上進行就近緩存，hash環(huán)就是對2^32次方進行取模，從0開始一直到2^32，均勻分布在一個圓環(huán)(一個比方)，0的順時針方向的第一位為1，逆時針方向第一位為2^32，大概如下圖
具體就是比方我有三個服務(wù)器A，B ,C對其進行 hash (服務(wù)器Aip)%2^32 得出來的一定是一個整數(shù)，而且一定是在0--2^32之間，那么這個數(shù)就會分布在hash環(huán)上對應(yīng)的位置，相同的B,C都一樣，假設(shè)我們hash過后ABC的位置如下圖
然后我們將需要緩存圖片的key進行hash，它的hash值也會分布在我的hash環(huán)上，
如上圖，我hash到了A和C之間，圖片的存儲規(guī)則是順時針方向的存儲，所以應(yīng)該存儲到A，如果有四張的話如下圖
那如果我們的hash算法將服務(wù)器和hash的圖片存放位置比較相近，類似于;
所有的緩存都集中存儲到了A一臺，只有5到了B，那么這樣A的壓力就不言而喻，沒有均勻可言了，辛虧hash環(huán)可以添加緩存服務(wù)器的虛擬節(jié)點，類似于虛擬機，一臺實機可以虛擬多臺，類似于這樣：
這樣的話就會盡可能的把緩存都均衡放在各個服務(wù)器
一致性hash算法的優(yōu)勢在哪：一個是當(dāng)我有一臺緩存節(jié)點掛了之后，緩存的存儲不會受太大的影響，
我們將b節(jié)點拿走，本來要在B節(jié)點存儲的3，因為找不到B服務(wù)器，而遵循規(guī)則緩存到C，而4的緩存節(jié)點不會發(fā)生改變，這就是一致hash的優(yōu)點，如果發(fā)生服務(wù)器的增加或者減少只有部分的緩存會失效，不造成全盤皆輸?shù)目赡?/p>
一致hash到此結(jié)束。
相關(guān)推薦
近日，艾肯家電網(wǎng)簽約國內(nèi)知名的CDN網(wǎng)站加速服務(wù)提供商北京快網(wǎng)，北京快網(wǎng)將為艾肯家電網(wǎng)提供提全站CDN加速服務(wù)。記者了解到，目前國內(nèi)比較大的門戶網(wǎng)站為現(xiàn)實網(wǎng)站的高速訪問，早已使用了CDN網(wǎng)絡(luò)加速。目前，包括騰訊、新浪、搜狐、網(wǎng)易、酷六、紅袖添香等眾多網(wǎng)站都采用了北京快網(wǎng)的CDN網(wǎng)絡(luò)加速服務(wù)這一服務(wù)。據(jù)《中國互聯(lián)網(wǎng)年度綜合報告2009-2011》數(shù)據(jù)顯示，預(yù)計至2011年互聯(lián)網(wǎng)市場規(guī)模將達到1300億，互聯(lián)網(wǎng)總用戶數(shù)將達到6億。網(wǎng)民數(shù)量的持續(xù)提升同時也讓互聯(lián)網(wǎng)服務(wù)發(fā)展如火如荼，視頻、SNS、垂直網(wǎng)站等新興網(wǎng)站層出不窮，在帶來全新商機的同時，也讓互聯(lián)網(wǎng)帶寬、服務(wù)器等資源捉襟見肘。而CDN服務(wù)提供商
9月29日消息，據(jù)國外媒體報道，雅虎董事會成員、國際上最大的CDN服務(wù)商Akamai總裁大衛(wèi)·肯尼（DavidKenny）公開表示有意競選雅虎CEO。國際上最大的CDN服務(wù)商Akamai總裁大衛(wèi)·肯尼知情人士透露，肯尼目前還在管理Akamai的業(yè)務(wù)，但確定要公開競選雅虎CEO。該人認為，肯尼對雅虎內(nèi)部發(fā)生的一切非常清楚，知道自己在干什么。昨天，肯尼曾與雅虎產(chǎn)品團隊工作人員進行數(shù)小時長談。近日，他還曾與包括私募公司在內(nèi)的雅虎投資方、股東交換了意見。某科技媒體認為，肯尼適宜擔(dān)
提起優(yōu)酷，喜歡看網(wǎng)上視頻的人大概沒有不知道的。創(chuàng)辦于2006年的優(yōu)酷，因著“快者為王”的產(chǎn)品理念，以“快速播放，快速發(fā)布，快速搜索”的特性，滿足了互聯(lián)網(wǎng)用戶日益增長的多元化互動需求，從而成為國內(nèi)視頻網(wǎng)站中的領(lǐng)軍企業(yè)。支持優(yōu)酷實現(xiàn)快速、優(yōu)質(zhì)用戶體驗的，是優(yōu)酷背后強大的數(shù)據(jù)中心和IT技術(shù)能力。據(jù)優(yōu)酷CTO姚鍵介紹，優(yōu)酷每年的數(shù)據(jù)增長率大概都在50%。為了應(yīng)對不斷增長的巨大流量帶來挑戰(zhàn)，2010年，優(yōu)酷對位于北京的主數(shù)據(jù)中心進行了改造。簡化的二層網(wǎng)絡(luò)姚鍵表示，由于優(yōu)酷提供的視頻業(yè)務(wù)對網(wǎng)絡(luò)設(shè)備提出了時延小、可大規(guī)模擴展的要求，因此對網(wǎng)絡(luò)交換設(shè)備的選型十分重要?？紤]到主數(shù)據(jù)中心的戰(zhàn)略地位，網(wǎng)絡(luò)規(guī)劃設(shè)計需
本文介紹介紹了10大前沿運營商級網(wǎng)絡(luò)技術(shù)：GPON，云計算，云手機，CDN，集裝箱數(shù)據(jù)中心，高壓直流供電，蒸發(fā)式冷卻，風(fēng)光互補基站，RFID。一、GPONGPON技術(shù)發(fā)源于1995年形成的ATMPON(既APON)，最早由FSAN標準組織提出，經(jīng)ITU-T指定，2004年形成最終標準。一直與EPON處于競爭地位。在亞太地區(qū)一直被壓制，2010年開始發(fā)力，目前新增份額已經(jīng)開始超越EPON。中移動專寵GPON，中電信、中聯(lián)通也開始青睞GPON。GPON為運營商提供了更大的分光比、2倍于EPON的下行帶寬，在FTTH中優(yōu)勢尤為明顯。中國移動研究院網(wǎng)絡(luò)研究所所長助理李晗——“GPON的DFB+APD提