本文主要介紹百度云智能運(yùn)維架構(gòu)團(tuán)隊(duì)在處理大規(guī)模日志計(jì)算任務(wù)時(shí)，為保證任務(wù)分配均勻性和穩(wěn)定性，對(duì)原始一致性哈希算法進(jìn)行改進(jìn)。新算法在保持原始一致性哈希算法穩(wěn)定性的同時(shí)，通過(guò)設(shè)置不均衡因子來(lái)控制分配的不均勻范圍，達(dá)到負(fù)載分配均勻性與穩(wěn)定性有效兼容。
業(yè)務(wù)場(chǎng)景
分布式系統(tǒng)中我們經(jīng)常會(huì)面對(duì)如下業(yè)務(wù)場(chǎng)景：
計(jì)算系統(tǒng)每分鐘有大量的定時(shí)任務(wù)需要及時(shí)調(diào)度并按時(shí)完成，單機(jī)在處理能力和時(shí)效性上都無(wú)法滿足要求，需要將任務(wù)分配到大量Work節(jié)點(diǎn)上進(jìn)行并行計(jì)算，我們?nèi)绾尉鶆蚍峙溥@些任務(wù)，并且在任務(wù)增減，Work節(jié)點(diǎn)退出/加入(伸縮能力)時(shí)保持任務(wù)分配的穩(wěn)定性(不會(huì)引起大量任務(wù)遷移)。
分布式存儲(chǔ)系統(tǒng)，海量數(shù)據(jù)被分片存儲(chǔ)，那么如何讓每個(gè)Data節(jié)點(diǎn)上分片更加均勻，并且在Data節(jié)點(diǎn)退出/加入時(shí)保持?jǐn)?shù)據(jù)分片的穩(wěn)定性。
高并發(fā)Web系統(tǒng)中，架構(gòu)上幾乎都是一個(gè)或多個(gè)反向代理服務(wù)器(如Nginx)來(lái)做七層負(fù)載均衡，后端使用應(yīng)用服務(wù)器集群(如Tomcat)提供服務(wù)，這種架構(gòu)具備水平伸縮能力，那么反向代理如何均勻分配請(qǐng)求，并且盡量保證請(qǐng)求Session粘性。
問(wèn)題分析
上述問(wèn)題可以抽象為對(duì)分配算法如下幾個(gè)方面的要求：
公平性：即算法的結(jié)果要盡可能地公平，不能造成分配不均問(wèn)題，這點(diǎn)在分布式系統(tǒng)中尤其重要，公平性就是要盡可能避免由于負(fù)載過(guò)重/過(guò)輕導(dǎo)致系統(tǒng)出現(xiàn)慢節(jié)點(diǎn)/饑餓節(jié)點(diǎn)影響系統(tǒng)整體性能和資源利用率。
穩(wěn)定性：分布式系統(tǒng)中，集群節(jié)點(diǎn)維護(hù)、故障、宕機(jī)、重啟、擴(kuò)縮容是非常常見(jiàn)的，穩(wěn)定性就是要保證計(jì)算任務(wù)、數(shù)據(jù)、請(qǐng)求在節(jié)點(diǎn)加入/退出時(shí)盡可能保持穩(wěn)定，不引起大量計(jì)算任務(wù)重分配、數(shù)據(jù)遷移、請(qǐng)求轉(zhuǎn)移，這對(duì)系統(tǒng)整體可靠性、穩(wěn)定性、高性能至關(guān)重要。
可行性：算法在工程實(shí)踐上一定是可行的，具體體現(xiàn)在這兩個(gè)方面：時(shí)間復(fù)雜度、空間復(fù)雜度，時(shí)間復(fù)雜度要求一定要快，滿足業(yè)務(wù)場(chǎng)景對(duì)響應(yīng)時(shí)間的要求，空間復(fù)雜度要求占用資源少，滿足業(yè)務(wù)在資源投入和收益上的平衡。
用作品證明實(shí)力，網(wǎng)站建設(shè)行業(yè)排名前列
