建站
咨詢
售后
建站咨詢
新聞中心
這篇文章，給大家聊聊一個(gè)百萬(wàn)級(jí)并發(fā)的中間件系統(tǒng)的內(nèi)核代碼里的鎖性能優(yōu)化。
創(chuàng)新互聯(lián)公司一直在為企業(yè)提供服務(wù)，多年的磨煉，使我們?cè)趧?chuàng)意設(shè)計(jì)，成都全網(wǎng)營(yíng)銷到技術(shù)研發(fā)擁有了開(kāi)發(fā)經(jīng)驗(yàn)。我們擅長(zhǎng)傾聽(tīng)企業(yè)需求，挖掘用戶對(duì)產(chǎn)品需求服務(wù)價(jià)值，為企業(yè)制作有用的創(chuàng)意設(shè)計(jì)體驗(yàn)。核心團(tuán)隊(duì)擁有超過(guò)10多年以上行業(yè)經(jīng)驗(yàn)，涵蓋創(chuàng)意，策化，開(kāi)發(fā)等專業(yè)領(lǐng)域，公司涉及領(lǐng)域有基礎(chǔ)互聯(lián)網(wǎng)服務(wù)服務(wù)器托管、成都APP應(yīng)用開(kāi)發(fā)、手機(jī)移動(dòng)建站、網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)絡(luò)整合營(yíng)銷。
很多同學(xué)都對(duì)Java并發(fā)編程很感興趣，學(xué)習(xí)了很多相關(guān)的技術(shù)和知識(shí)。比如volatile、Atomic、synchronized底層、讀寫(xiě)鎖、AQS、并發(fā)包下的集合類、線程池，等等。
一、對(duì)Java并發(fā)仍停留在理論階段
很多同學(xué)對(duì)Java并發(fā)編程的知識(shí)，可能看了很多的書(shū)，也通過(guò)不少視頻課程進(jìn)行了學(xué)習(xí)。
但是，大部分人可能還是停留在理論的底層，主要是了解理論，基本對(duì)并發(fā)相關(guān)的技術(shù)很少實(shí)踐和使用，更很少做過(guò)復(fù)雜的中間件系統(tǒng)。
實(shí)際上，真正把這些技術(shù)落地到中間件系統(tǒng)開(kāi)發(fā)中去實(shí)踐的時(shí)候，是會(huì)遇到大量的問(wèn)題，需要對(duì)并發(fā)相關(guān)技術(shù)的底層有深入的理解和掌握。
然后，結(jié)合自己實(shí)際的業(yè)務(wù)場(chǎng)景來(lái)進(jìn)行對(duì)應(yīng)的技術(shù)優(yōu)化、機(jī)制優(yōu)化，才能實(shí)現(xiàn)最好的效果。
因此，本文將從筆者曾經(jīng)帶過(guò)的一個(gè)高并發(fā)中間件項(xiàng)目的內(nèi)核機(jī)制出發(fā)，來(lái)看看一個(gè)實(shí)際的場(chǎng)景中遇到的并發(fā)相關(guān)的問(wèn)題。
同時(shí)，我們也將一步步通過(guò)對(duì)應(yīng)的偽代碼演進(jìn)，來(lái)分析其背后涉及到的并發(fā)的性能優(yōu)化思想和實(shí)踐，最后來(lái)看看優(yōu)化之后的效果。
二、中間件系統(tǒng)的內(nèi)核機(jī)制：雙緩沖機(jī)制
這個(gè)中間件項(xiàng)目整體就不做闡述了，因?yàn)樯婕昂诵捻?xiàng)目問(wèn)題。我們僅僅拿其中涉及到的一個(gè)內(nèi)核機(jī)制以及對(duì)應(yīng)的場(chǎng)景來(lái)給大家做一下說(shuō)明。
其實(shí)這個(gè)例子是大量的開(kāi)源中間件系統(tǒng)、大數(shù)據(jù)系統(tǒng)中都有涉及到的一個(gè)場(chǎng)景，就是：核心數(shù)據(jù)寫(xiě)磁盤文件。
比如，大數(shù)據(jù)領(lǐng)域里的hadoop、hbase、elasitcsearch，Java中間件領(lǐng)域里的redis、mq，這些都會(huì)涉及到核心數(shù)據(jù)寫(xiě)磁盤文件的問(wèn)題。
而很多大型互聯(lián)網(wǎng)公司自研的中年間系統(tǒng)，同樣也會(huì)有這個(gè)場(chǎng)景。只不過(guò)不同的中間件系統(tǒng)，他的作用和目標(biāo)是不一樣的，所以在核心數(shù)據(jù)寫(xiě)磁盤文件的機(jī)制設(shè)計(jì)上，是有一些區(qū)別的。
那么我們公司自研的中間件項(xiàng)目，簡(jiǎn)單來(lái)說(shuō)，需要實(shí)現(xiàn)的一個(gè)效果是：開(kāi)辟兩塊內(nèi)存空間，也就是經(jīng)典的內(nèi)存雙緩沖機(jī)制。
然后核心數(shù)據(jù)進(jìn)來(lái)全部寫(xiě)第一塊緩沖區(qū)，寫(xiě)滿了之后，由一個(gè)線程進(jìn)行那塊緩沖區(qū)的數(shù)據(jù)批量刷到磁盤文件的工作，其他線程同時(shí)可以繼續(xù)寫(xiě)另外一塊緩沖區(qū)。
我們想要實(shí)現(xiàn)的就是這樣的一個(gè)效果。這樣的話，一塊緩沖區(qū)刷磁盤的同時(shí)，另外一塊緩沖區(qū)可以接受其他線程的寫(xiě)入，兩不耽誤。核心數(shù)據(jù)寫(xiě)入是不會(huì)斷的，可以持續(xù)不斷的寫(xiě)入這個(gè)中間件系統(tǒng)中。
我們來(lái)看看下面的那張圖，也來(lái)了解一下這個(gè)場(chǎng)景。
如上圖，首先是很多線程需要寫(xiě)緩沖區(qū)1，然后是緩沖區(qū)1寫(xiě)滿之后，就會(huì)由寫(xiě)滿的那個(gè)線程把緩沖區(qū)1的數(shù)據(jù)刷入磁盤文件，其他線程繼續(xù)寫(xiě)緩沖區(qū)2。
這樣，數(shù)據(jù)批量刷磁盤和持續(xù)寫(xiě)內(nèi)存緩沖，兩個(gè)事兒就不會(huì)耽誤了，這是中間件系統(tǒng)設(shè)計(jì)中極為常用的一個(gè)機(jī)制，大家看下面的圖。
三、百萬(wàn)并發(fā)的技術(shù)挑戰(zhàn)
先給大家說(shuō)一下這個(gè)中間件系統(tǒng)的背景：這是一個(gè)服務(wù)某個(gè)特殊場(chǎng)景下的中間件系統(tǒng)，整體是集群部署。
然后每個(gè)實(shí)例部署的都是高配置機(jī)器，定位是單機(jī)承載并發(fā)達(dá)到萬(wàn)級(jí)甚至十萬(wàn)級(jí)，整體集群足以支撐百萬(wàn)級(jí)并發(fā)，因此對(duì)單機(jī)的寫(xiě)入性能和吞吐要求極為高。
在超高并發(fā)的要求之下，上圖中的那個(gè)內(nèi)核機(jī)制的設(shè)計(jì)就顯得尤為重要了。弄的不好，就容易導(dǎo)致寫(xiě)入并發(fā)性能過(guò)差，達(dá)不到上述的要求。
此外在這里多提一句，類似的這種機(jī)制在很多其他的系統(tǒng)里都有涉及。
只不過(guò)不同的是，那篇文章是用這個(gè)機(jī)制來(lái)做MQ集群整體故障時(shí)的容災(zāi)降級(jí)機(jī)制，跟本文的高并發(fā)中間件系統(tǒng)還有點(diǎn)不太一樣，所以在設(shè)計(jì)上考慮的一些細(xì)節(jié)也是不同的。
而且，之前那篇文章的主題是講這種內(nèi)存雙緩沖機(jī)制的一個(gè)線上問(wèn)題：瞬時(shí)超高并發(fā)下的系統(tǒng)卡死問(wèn)題。
四、內(nèi)存數(shù)據(jù)寫(xiě)入的鎖機(jī)制以及串行化問(wèn)題
首先我們先考慮第一個(gè)問(wèn)題，你多個(gè)線程會(huì)并發(fā)寫(xiě)同一塊內(nèi)存緩沖，這個(gè)肯定有問(wèn)題啊！
因?yàn)閮?nèi)存共享數(shù)據(jù)并發(fā)寫(xiě)入的時(shí)候，必須是要加鎖的，否則必然會(huì)有并發(fā)安全問(wèn)題，導(dǎo)致內(nèi)存數(shù)據(jù)錯(cuò)亂。
所以在這里，我們寫(xiě)了下面的偽代碼，先考慮一下線程如何寫(xiě)入內(nèi)存緩沖。
好了，這行代碼弄好之后，對(duì)應(yīng)著下面的這幅圖，大家看一下。
看到這里，就遇到了Java并發(fā)的第一個(gè)性能問(wèn)題了，你要知道高并發(fā)場(chǎng)景下，大量線程會(huì)并發(fā)寫(xiě)內(nèi)存的，你要是直接這樣加一個(gè)鎖，必然會(huì)導(dǎo)致所有線程都是串行化。
即一個(gè)線程加鎖，寫(xiě)數(shù)據(jù)，然后釋放鎖。接著下一個(gè)線程干同樣的事情。這種串行化必然導(dǎo)致系統(tǒng)整體的并發(fā)性能和吞吐量會(huì)大幅度降低的。
五、內(nèi)存緩沖分片機(jī)制+分段枷鎖機(jī)制
因此在這里必須要對(duì)內(nèi)存雙緩沖機(jī)制引入分段加鎖機(jī)制，也就是將內(nèi)存緩沖切分為多個(gè)分片，每個(gè)內(nèi)存緩沖分片就對(duì)應(yīng)一個(gè)鎖。
這樣的話，你完全可以根據(jù)自己的系統(tǒng)壓測(cè)結(jié)果，調(diào)整內(nèi)存分片數(shù)量，提升鎖的數(shù)量，進(jìn)而允許大量線程高并發(fā)寫(xiě)入內(nèi)存。
我們看下面的偽代碼，對(duì)這塊就實(shí)現(xiàn)了內(nèi)存緩沖分片機(jī)制：
好！我們?cè)賮?lái)看看，目前為止的圖是什么樣子的：
這里因?yàn)槊總€(gè)線程僅僅就是加鎖，寫(xiě)內(nèi)存，然后釋放鎖。
所以，每個(gè)線程持有鎖的時(shí)間是很短很短的，單個(gè)內(nèi)存分片的并發(fā)寫(xiě)入經(jīng)過(guò)壓測(cè)，達(dá)到每秒幾百甚至上千是沒(méi)問(wèn)題的，因此線上系統(tǒng)我們是單機(jī)開(kāi)辟幾十個(gè)到上百個(gè)內(nèi)存緩沖分片的。
經(jīng)過(guò)壓測(cè)，這足以支撐每秒數(shù)萬(wàn)的并發(fā)寫(xiě)入，如果將機(jī)器資源使用的極限，每秒十萬(wàn)并發(fā)也是可以支持的。
六、緩沖區(qū)寫(xiě)滿時(shí)的雙緩沖交換
那么當(dāng)一塊緩沖區(qū)寫(xiě)滿的時(shí)候，是不是就必須要交換兩塊緩沖區(qū)？接著需要有一個(gè)線程來(lái)將寫(xiě)滿的緩沖區(qū)數(shù)據(jù)刷寫(xiě)到磁盤文件中？
此時(shí)的偽代碼，大家考慮一下，是不是如下所示：
同樣，我們通過(guò)下面的圖來(lái)看看這個(gè)機(jī)制的實(shí)現(xiàn)：
七、且慢！刷寫(xiě)磁盤不是會(huì)導(dǎo)致鎖持有時(shí)間過(guò)長(zhǎng)嗎？
且慢，各位同學(xué)，如果按照上面的偽代碼思路，一定會(huì)有一個(gè)問(wèn)題：要是一個(gè)線程，他獲取了鎖，開(kāi)始寫(xiě)內(nèi)存數(shù)據(jù)。
然后，發(fā)現(xiàn)內(nèi)存滿了，接著直接在持有鎖的過(guò)程中，還去執(zhí)行數(shù)據(jù)刷磁盤的操作，這樣是有問(wèn)題的。
要知道，數(shù)據(jù)刷磁盤是很慢的，根據(jù)數(shù)據(jù)的多少，搞不好要幾十毫秒，甚至幾百毫秒。
這樣的話，豈不是一個(gè)線程會(huì)持有鎖長(zhǎng)達(dá)幾十毫秒，甚至幾百毫秒？
這當(dāng)然不行了，后面的線程此時(shí)都在等待獲取鎖然后寫(xiě)緩沖區(qū)2，你怎么能一直占有鎖呢？
一旦你按照這個(gè)思路來(lái)寫(xiě)代碼，必然導(dǎo)致高并發(fā)場(chǎng)景下，一個(gè)線程持有鎖上百毫秒。刷數(shù)據(jù)到磁盤的時(shí)候，后續(xù)上百個(gè)工作線程全部卡在等待鎖的那個(gè)環(huán)節(jié)，啥都干不了，嚴(yán)重的情況下，甚至又會(huì)導(dǎo)致系統(tǒng)整體呈現(xiàn)卡死的狀態(tài)。
八、內(nèi)存 + 磁盤并行寫(xiě)機(jī)制
所以此時(shí)正確的并發(fā)優(yōu)化代碼，應(yīng)該是發(fā)現(xiàn)內(nèi)存緩沖區(qū)1滿了，然后就交換兩個(gè)緩沖區(qū)。
接著直接就釋放鎖，釋放鎖了之后再由這個(gè)線程將數(shù)據(jù)刷入磁盤中，刷磁盤的過(guò)程是不會(huì)占用鎖的，然后后續(xù)的線程都可以繼續(xù)獲取鎖，快速寫(xiě)入內(nèi)存，接著釋放鎖。
大家先看看下面的偽代碼的優(yōu)化：
按照上面的偽代碼的優(yōu)化，此時(shí)磁盤的刷寫(xiě)和內(nèi)存的寫(xiě)入，完全可以并行同時(shí)進(jìn)行。
因?yàn)檫@里核心的要點(diǎn)就在于大幅度降低了鎖占用的時(shí)間，這是java并發(fā)鎖優(yōu)化的一個(gè)非常核心的思路。
大家看下面的圖，一起來(lái)感受一下：
九、為什么必須要用雙緩沖機(jī)制？
其實(shí)看到這里，大家可能或多或少都體會(huì)到了一些雙緩沖機(jī)制的設(shè)計(jì)思想了，如果只用單塊內(nèi)存緩沖的話，那么從里面讀數(shù)據(jù)刷入磁盤的過(guò)程，也需要占用鎖，而此時(shí)想要獲取鎖寫(xiě)入內(nèi)存緩沖的線程是獲取不到鎖的。
所以假只用單塊緩沖，必然導(dǎo)致讀內(nèi)存數(shù)據(jù)，刷入磁盤的過(guò)程，長(zhǎng)時(shí)間占用鎖。進(jìn)而導(dǎo)致大量線程卡在鎖的獲取上，無(wú)法獲取到鎖，然后無(wú)法將數(shù)據(jù)寫(xiě)入內(nèi)存。這就是必須要在這里使用雙緩沖機(jī)制的核心原因。
十、總結(jié)
最后做一下總結(jié)，本文從筆者團(tuán)隊(duì)自研的百萬(wàn)并發(fā)量級(jí)中間件系統(tǒng)的內(nèi)核機(jī)制出發(fā)，給大家展示了Java并發(fā)中加鎖的時(shí)候：
- 如何利用雙緩沖機(jī)制
- 內(nèi)存緩沖分片機(jī)制
- 分段加鎖機(jī)制
- 磁盤 + 內(nèi)存并行寫(xiě)入機(jī)制
- 高并發(fā)場(chǎng)景下大幅度優(yōu)化多線程對(duì)鎖的串行化爭(zhēng)用問(wèn)題
- 長(zhǎng)時(shí)間占用鎖的問(wèn)題
其實(shí)在很多開(kāi)源的優(yōu)秀中間件系統(tǒng)中，都有很多類似的Java并發(fā)優(yōu)化的機(jī)制，主要就是應(yīng)對(duì)高并發(fā)的場(chǎng)景下大幅度的提升系統(tǒng)的并發(fā)性能以及吞吐量。大家如果感興趣，也可以去了解閱讀一下相關(guān)的底層源碼。
分享文章：太強(qiáng)了！這么設(shè)計(jì)中間件完美解決了百萬(wàn)并發(fā)的問(wèn)題！
文章URL：http://www.5511xx.com/article/cdiiidg.html
