日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間:8:30-17:00
你可能遇到了下面的問(wèn)題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷解決方案
探索Linux多核多線程技術(shù)(linux多核多線程)

隨著計(jì)算機(jī)硬件的發(fā)展,現(xiàn)代計(jì)算機(jī)系統(tǒng)都擁有多個(gè)核心和超線程技術(shù),這使得操作系統(tǒng)的設(shè)計(jì)越來(lái)越注重多核心和多線程的并發(fā)處理。而Linux的設(shè)計(jì)以及開(kāi)放源代碼的特點(diǎn),使其成為一種非常流行的多核心和多線程操作系統(tǒng)。本文將深入,旨在探討Linux如何有效地支持多核心和多線程。

黃龍網(wǎng)站制作公司哪家好,找創(chuàng)新互聯(lián)!從網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、APP開(kāi)發(fā)、響應(yīng)式網(wǎng)站開(kāi)發(fā)等網(wǎng)站項(xiàng)目制作,到程序開(kāi)發(fā),運(yùn)營(yíng)維護(hù)。創(chuàng)新互聯(lián)2013年至今到現(xiàn)在10年的時(shí)間,我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn),來(lái)保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)

一、Linux系統(tǒng)的多核心和超線程技術(shù)

多核心技術(shù)是一種新型的計(jì)算機(jī)CPU硬件設(shè)計(jì)技術(shù),它允許計(jì)算機(jī)有多個(gè)處理器核心。這意味著在相同的時(shí)間內(nèi),計(jì)算機(jī)可以執(zhí)行更多指令和處理更多數(shù)據(jù),從而提高計(jì)算機(jī)的性能。在Linux系統(tǒng)中,多核心處理器是以多個(gè)CPU的形式實(shí)現(xiàn)的,每個(gè)CPU都包含一個(gè)或多個(gè)處理器核心。此外,超線程技術(shù)也允許每個(gè)核心可以同時(shí)處理兩個(gè)線程,這樣更有效地利用每個(gè)處理器核心的資源。

二、Linux系統(tǒng)的多線程模型

Linux系統(tǒng)支持多種多線程模型。其中最常用的模型是基于POSIX.1標(biāo)準(zhǔn)的線程庫(kù),也稱為pthread庫(kù)。這個(gè)庫(kù)允許程序員利用多個(gè)線程來(lái)同時(shí)執(zhí)行不同的任務(wù)。另一個(gè)流行的模型是OpenMP,在高性能計(jì)算領(lǐng)域廣泛應(yīng)用。

Linux系統(tǒng)中的多線程模型允許程序員使用多個(gè)線程來(lái)充分利用系統(tǒng)的多核心特性。使用多線程程序,能夠允許多個(gè)線程并發(fā)執(zhí)行不同的任務(wù),從而使整個(gè)程序更高效和更快速的運(yùn)行。借助于多線程,可以更好地利用多核心處理器的計(jì)算能力。

三、Linux系統(tǒng)的線程調(diào)度

Linux系統(tǒng)采用了一種搶占式的線程調(diào)度方式,這使得內(nèi)核可以在任何時(shí)候強(qiáng)制執(zhí)行并切換線程。在Linux系統(tǒng)中,內(nèi)核具有兩種線程調(diào)度策略:批量輪換和實(shí)時(shí)輪換。

批量輪換算法是Linux系統(tǒng)默認(rèn)的線程調(diào)度策略,它允許CPU分時(shí)對(duì)多個(gè)進(jìn)程或線程進(jìn)行輪換,讓每個(gè)進(jìn)程或線程都有平等的機(jī)會(huì)執(zhí)行。而實(shí)時(shí)輪換算法允許特定線程優(yōu)先執(zhí)行,確保它們能夠及時(shí)響應(yīng)系統(tǒng)的事件和需要。

四、Linux系統(tǒng)的并發(fā)和同步

并發(fā)和同步是多線程編程中最重要的問(wèn)題。Linux系統(tǒng)使用了一系列機(jī)制來(lái)確保多個(gè)線程之間的正確性和一致性,例如,信號(hào)量,互斥鎖,條件變量等。

信號(hào)量是Linux系統(tǒng)中最基本的同步機(jī)制,它允許多個(gè)線程之間進(jìn)行協(xié)調(diào)和同步?;コ怄i是另一個(gè)常見(jiàn)的同步機(jī)制,它允許只有一個(gè)線程能夠訪問(wèn)共享數(shù)據(jù)。條件變量允許線程等待某個(gè)條件的發(fā)生,而不必占用CPU的時(shí)間。

五、Linux系統(tǒng)的優(yōu)化

在使用Linux系統(tǒng)的多核心和多線程技術(shù)時(shí),優(yōu)化是一個(gè)很重要的方向。在Linux系統(tǒng)中,可以通過(guò)調(diào)整內(nèi)核參數(shù)和優(yōu)化線程模型來(lái)實(shí)現(xiàn)優(yōu)化。

其中一些優(yōu)化選項(xiàng)包括使用NUMA感知,避免鎖競(jìng)爭(zhēng),使用定時(shí)器來(lái)盡可能多地利用CPU的空閑時(shí)間。此外,在Linux系統(tǒng)中,也可以使用一些工具,如GNU Profler,gdb和strace等,來(lái)幫助進(jìn)行性能分析和調(diào)試。

六、結(jié)論

Linux系統(tǒng)是一個(gè)可靠而強(qiáng)大的多核心和多線程操作系統(tǒng),它允許程序員使用多線程來(lái)充分利用系統(tǒng)的多核心CPU特性,以提高程序的性能和效率。本文介紹了Linux多核多線程技術(shù)的基礎(chǔ)知識(shí),包括多核心和超線程技術(shù),多線程模型,線程調(diào)度,以及并發(fā)和同步機(jī)制等。在使用Linux系統(tǒng)的多核心和多線程技術(shù)時(shí),可以通過(guò)優(yōu)化內(nèi)核參數(shù)和線程模型,以及使用一些性能分析和調(diào)試工具來(lái)實(shí)現(xiàn)優(yōu)化。

相關(guān)問(wèn)題拓展閱讀:

  • 如何看懂《Linux多線程服務(wù)端編程

如何看懂《Linux多線程服務(wù)端編程

一:進(jìn)程和線程

每個(gè)進(jìn)程有自己獨(dú)立的地址空間?!霸谕粋€(gè)進(jìn)程”還是“不在同一個(gè)進(jìn)程”是系統(tǒng)功能劃分的重要決策點(diǎn)?!禘rlang程序設(shè)計(jì)》把進(jìn)程比喻為人:

每個(gè)人有自己的記憶(內(nèi)存),人與人通過(guò)談話(消息傳遞)來(lái)交流,談話既可以是面談姿并野(同一臺(tái)服務(wù)器),也可以在里談(不同的服務(wù)器,有網(wǎng)絡(luò)通信)。面談和談的區(qū)別在于,面談可以立即知道對(duì)方是否死了(crash,SIGCHLD),而談只能通過(guò)周期性的心跳來(lái)判斷對(duì)方是否還活著。

有了這些比喻,設(shè)計(jì)分布式系統(tǒng)時(shí)可以采取“角色扮演”,團(tuán)隊(duì)里的幾個(gè)人各自扮演一個(gè)進(jìn)程,人的角色由進(jìn)程的代碼決定(管登錄的、管消息分發(fā)的、管買賣的等等)。每個(gè)人有自己的記憶,但不知道別人的記憶,要想知道別人的看法,只能通過(guò)交談(暫不考慮共享內(nèi)存這種IPC)。然后就可以思考:跡喊

·容錯(cuò):萬(wàn)一有人突然死了

·擴(kuò)容:新人中途加進(jìn)來(lái)

·負(fù)載均衡:把甲的活兒挪給乙做

·退休:甲要修復(fù)bug,先別派新任務(wù),等他做完手上的事情就把他重啟

等等各種場(chǎng)景,十分便利。

線程的特點(diǎn)是共享地址空間,從而可以高效地共享數(shù)據(jù)。一臺(tái)機(jī)器上的多個(gè)進(jìn)程能高效地共享代碼段(操作系統(tǒng)可以映射為同樣的物理內(nèi)存),但不能共享數(shù)據(jù)。如果多個(gè)進(jìn)程大量共享內(nèi)存,等于是把多進(jìn)程程序當(dāng)成多線程來(lái)寫(xiě),掩耳盜鈴。

“多線程”的價(jià)值,我認(rèn)為是為了更好地發(fā)揮多核處理器(multi-cores)的效能。在單核時(shí)代,多線程沒(méi)有多大價(jià)值(個(gè)人想法:如果要完成的任務(wù)是CPU密集型的,那多線程沒(méi)有優(yōu)勢(shì),甚至因?yàn)榫€程切換的開(kāi)銷,多線程反而更慢;如果要完成的任務(wù)既有CPU計(jì)算,又有磁盤或網(wǎng)絡(luò)IO,則使用多線程的好處是,當(dāng)某個(gè)線程因?yàn)镮O而阻塞時(shí),OS可以調(diào)度其他線程執(zhí)行,雖然效率確實(shí)要比任務(wù)的順序執(zhí)行效率要高,然而,這種類型的任務(wù),可以通過(guò)單線程的”non-blocking IO+IO multiplexing”的模型(事件驅(qū)動(dòng))來(lái)提高效率,采用多線程的方式,帶來(lái)的可能僅僅是編程上的簡(jiǎn)單而已)。Alan Cox說(shuō)過(guò):”A computer is a state machine.Threads are for people who can’t program state machines.”(計(jì)算機(jī)是一臺(tái)狀態(tài)機(jī)。線程是給那些不能編寫(xiě)狀態(tài)機(jī)程序的人準(zhǔn)備的)如果只有一塊CPU、一個(gè)執(zhí)行單元,那么確實(shí)如Alan Cox所說(shuō),按狀態(tài)機(jī)的思路去寫(xiě)程序是最蔽謹(jǐn)高效的。

二:?jiǎn)尉€程服務(wù)器的常用編程模型

據(jù)我了解,在高性能的網(wǎng)絡(luò)程序中,使用得最為廣泛的恐怕要數(shù)”non-blocking IO + IO multiplexing”這種模型,即Reactor模式。

在”non-blocking IO + IO multiplexing”這種模型中,程序的基本結(jié)構(gòu)是一個(gè)事件循環(huán)(event loop),以事件驅(qū)動(dòng)(event-driven)和事件回調(diào)的方式實(shí)現(xiàn)業(yè)務(wù)邏輯:

view plain copy

//代碼僅為示意,沒(méi)有完整考慮各種情況

while(!done)

{

int timeout_ms = max(1000, getNextTimedCallback());

int retval = poll(fds, nfds, timeout_ms);

if (retval0){

處理IO事件,回調(diào)用戶的IO event handler

}

}

}

這里select(2)/poll(2)有伸縮性方面的不足(描述符過(guò)多時(shí),效率較低),Linux下可替換為epoll(4),其他操作系統(tǒng)也有對(duì)應(yīng)的高性能替代品。

Reactor模型的優(yōu)點(diǎn)很明顯,編程不難,效率也不錯(cuò)。不僅可以用于讀寫(xiě)socket,連接的建立(connect(2)/accept(2)),甚至DNS解析都可以用非阻塞方式進(jìn)行,以提高并發(fā)度和吞吐量(throughput),對(duì)于IO密集的應(yīng)用是個(gè)不錯(cuò)的選擇。lighttpd就是這樣,它內(nèi)部的fdevent結(jié)構(gòu)十分精妙,值得學(xué)習(xí)。

基于事件驅(qū)動(dòng)的編程模型也有其本質(zhì)的缺點(diǎn),它要求事件回調(diào)函數(shù)必須是非阻塞的。對(duì)于涉及網(wǎng)絡(luò)IO的請(qǐng)求響應(yīng)式協(xié)議,它容易割裂業(yè)務(wù)邏輯,使其散布于多個(gè)回調(diào)函數(shù)之中,相對(duì)不容易理解和維護(hù)。

三:多線程服務(wù)器的常用編程模型

大概有這么幾種:

a:每個(gè)請(qǐng)求創(chuàng)建一個(gè)線程,使用阻塞式IO操作。在Java 1.4引人NIO之前,這是Java網(wǎng)絡(luò)編程的推薦做法??上炜s性不佳(請(qǐng)求太多時(shí),操作系統(tǒng)創(chuàng)建不了這許多線程)。

b:使用線程池,同樣使用阻塞式IO操作。與第1種相比,這是提高性能的措施。

c:使用non-blocking IO + IO multiplexing。即Java NIO的方式。

d:Leader/Follower等高級(jí)模式。

在默認(rèn)情況下,我會(huì)使用第3種,即non-blocking IO + one loop per thread模式來(lái)編寫(xiě)多線程C++網(wǎng)絡(luò)服務(wù)程序。

1:one loop per thread

此種模型下,程序里的每個(gè)IO線程有一個(gè)event loop,用于處理讀寫(xiě)和定時(shí)事件(無(wú)論周期性的還是單次的)。代碼框架跟“單線程服務(wù)器的常用編程模型”一節(jié)中的一樣。

libev的作者說(shuō):

One loop per thread is usually a good model. Doing this is almost never wrong, some times a better-performance model exists, but it is always a good start.

這種方式的好處是:

a:線程數(shù)目基本固定,可以在程序啟動(dòng)的時(shí)候設(shè)置,不會(huì)頻繁創(chuàng)建與銷毀。

b:可以很方便地在線程間調(diào)配負(fù)載。

c:IO事件發(fā)生的線程是固定的,同一個(gè)TCP連接不必考慮事件并發(fā)。

Event loop代表了線程的主循環(huán),需要讓哪個(gè)線程干活,就把timer或IO channel(如TCP連接)注冊(cè)到哪個(gè)線程的loop里即可:對(duì)實(shí)時(shí)性有要求的connection可以單獨(dú)用一個(gè)線程;數(shù)據(jù)量大的connection可以獨(dú)占一個(gè)線程,并把數(shù)據(jù)處理任務(wù)分?jǐn)偟搅韼讉€(gè)計(jì)算線程中(用線程池);其他次要的輔助性connections可以共享一個(gè)線程。

比如,在dbproxy中,一個(gè)線程用于專門處理客戶端發(fā)來(lái)的管理命令;一個(gè)線程用于處理客戶端發(fā)來(lái)的MySQL命令,而與后端數(shù)據(jù)庫(kù)通信執(zhí)行該命令時(shí),是將該任務(wù)分配給所有事件線程處理的。

對(duì)于non-trivial(有一定規(guī)模)的服務(wù)端程序,一般會(huì)采用non-blocking IO + IO multiplexing,每個(gè)connection/acceptor都會(huì)注冊(cè)到某個(gè)event loop上,程序里有多個(gè)event loop,每個(gè)線程至多有一個(gè)event loop。

多線程程序?qū)vent loop提出了更高的要求,那就是“線程安全”。要允許一個(gè)線程往別的線程的loop里塞東西,這個(gè)loop必須得是線程安全的。

在dbproxy中,線程向其他線程分發(fā)任務(wù),是通過(guò)管道和隊(duì)列實(shí)現(xiàn)的。比如主線程accept到連接后,將表示該連接的結(jié)構(gòu)放入隊(duì)列,并向管道中寫(xiě)入一個(gè)字節(jié)。計(jì)算線程在自己的event loop中注冊(cè)管道的讀事件,一旦有數(shù)據(jù)可讀,就嘗試從隊(duì)列中取任務(wù)。

2:線程池

不過(guò),對(duì)于沒(méi)有IO而光有計(jì)算任務(wù)的線程,使用event loop有點(diǎn)浪費(fèi)??梢允褂靡环N補(bǔ)充方案,即用blocking queue實(shí)現(xiàn)的任務(wù)隊(duì)列:

view plain copy

typedef boost::functionFunctor;

BlockingQueue taskQueue; //線程安全的全局阻塞隊(duì)列

//計(jì)算線程

void workerThread()

{

while (running) //running變量是個(gè)全局標(biāo)志

{

Functor task = taskQueue.take(); //this blocks

task(); //在產(chǎn)品代碼中需要考慮異常處理

}

}

// 創(chuàng)建容量(并發(fā)數(shù))為N的線程池

int N = num_of_computing_threads;

for (int i = 0; i

{

create_thread(&workerThread); //啟動(dòng)線程

}

//向任務(wù)隊(duì)列中追加任務(wù)

Foo foo; //Foo有calc()成員函數(shù)

boost::function task = boost::bind(&Foo::calc,&foo);

taskQueue.post(task);

除了任務(wù)隊(duì)列,還可以用BlockingQueue實(shí)現(xiàn)數(shù)據(jù)的生產(chǎn)者消費(fèi)者隊(duì)列,即T是數(shù)據(jù)類型而非函數(shù)對(duì)象,queue的消費(fèi)者從中拿到數(shù)據(jù)進(jìn)行處理。其實(shí)本質(zhì)上是一樣的。

3:總結(jié)

總結(jié)而言,我推薦的C++多線程服務(wù)端編程模式為:one (event) loop per thread + thread pool:

event loop用作IO multiplexing,配合non-blockingIO和定時(shí)器;

thread pool用來(lái)做計(jì)算,具體可以是任務(wù)隊(duì)列或生產(chǎn)者消費(fèi)者隊(duì)列。

以這種方式寫(xiě)服務(wù)器程序,需要一個(gè)優(yōu)質(zhì)的基于Reactor模式的網(wǎng)絡(luò)庫(kù)來(lái)支撐,muduo正是這樣的網(wǎng)絡(luò)庫(kù)。比如dbproxy使用的是libevent。

程序里具體用幾個(gè)loop、線程池的大小等參數(shù)需要根據(jù)應(yīng)用來(lái)設(shè)定,基本的原則是“阻抗匹配”(解釋見(jiàn)下),使得CPU和IO都能高效地運(yùn)作。所謂阻抗匹配原則:

如果池中線程在執(zhí)行任務(wù)時(shí),密集計(jì)算所占的時(shí)間比重為 P (0

以后我再講這個(gè)經(jīng)驗(yàn)公式是怎么來(lái)的,先驗(yàn)證邊界條件的正確性。

假設(shè) C = 8,P = 1.0,線程池的任務(wù)完全是密集計(jì)算,那么T = 8。只要 8 個(gè)活動(dòng)線程就能讓 8 個(gè) CPU 飽和,再多也沒(méi)用,因?yàn)?CPU 資源已經(jīng)耗光了。

假設(shè) C = 8,P = 0.5,線程池的任務(wù)有一半是計(jì)算,有一半等在 IO 上,那么T = 16??紤]操作系統(tǒng)能靈活合理地調(diào)度 sleeping/writing/running 線程,那么大概 16 個(gè)“50%繁忙的線程”能讓 8 個(gè) CPU 忙個(gè)不停。啟動(dòng)更多的線程并不能提高吞吐量,反而因?yàn)樵黾由舷挛那袚Q的開(kāi)銷而降低性能。

如果 P

另外,公式里的 C 不一定是 CPU 總數(shù),可以是“分配給這項(xiàng)任務(wù)的 CPU 數(shù)目”,比如在 8 核機(jī)器上分出 4 個(gè)核來(lái)做一項(xiàng)任務(wù),那么 C=4。

四:進(jìn)程間通信只用TCP

Linux下進(jìn)程間通信的方式有:匿名管道(pipe)、具名管道(FIFO)、POSIX消息隊(duì)列、共享內(nèi)存、信號(hào)(signals),以及Socket。同步原語(yǔ)有互斥器(mutex)、條件變量(condition variable)、讀寫(xiě)鎖(reader-writer lock)、文件鎖(record locking)、信號(hào)量(semaphore)等等。

進(jìn)程間通信我首選Sockets(主要指TCP,我沒(méi)有用過(guò)UDP,也不考慮Unix domain協(xié)議)。其好處在于:

可以跨主機(jī),具有伸縮性。反正都是多進(jìn)程了,如果一臺(tái)機(jī)器的處理能力不夠,很自然地就能用多臺(tái)機(jī)器來(lái)處理。把進(jìn)程分散到同一局域網(wǎng)的多臺(tái)機(jī)器上,程序改改host:port配置就能繼續(xù)用;

TCP sockets和pipe都是操作文件描述符,用來(lái)收發(fā)字節(jié)流,都可以read/write/fcntl/select/poll等。不同的是,TCP是雙向的,Linux的pipe是單向的,進(jìn)程間雙向通信還得開(kāi)兩個(gè)文件描述符,不方便;而且進(jìn)程要有父子關(guān)系才能用pipe,這些都限制了pipe的使用;

TCP port由一個(gè)進(jìn)程獨(dú)占,且進(jìn)程退出時(shí)操作系統(tǒng)會(huì)自動(dòng)回收文件描述符。因此即使程序意外退出,也不會(huì)給系統(tǒng)留下垃圾,程序重啟之后能比較容易地恢復(fù),而不需要重啟操作系統(tǒng)(用跨進(jìn)程的mutex就有這個(gè)風(fēng)險(xiǎn));而且,port是獨(dú)占的,可以防止程序重復(fù)啟動(dòng),后面那個(gè)進(jìn)程搶不到port,自然就沒(méi)法初始化了,避免造成意料之外的結(jié)果;

與其他IPC相比,TCP協(xié)議的一個(gè)天生的好處是“可記錄、可重現(xiàn)”。tcpdump和Wireshark是解決兩個(gè)進(jìn)程間協(xié)議和狀態(tài)爭(zhēng)端的好幫手,也是性能(吞吐量、延遲)分析的利器。我們可以借此編寫(xiě)分布式程序的自動(dòng)化回歸測(cè)試。也可以用tcpcopy之類的工具進(jìn)行壓力測(cè)試。TCP還能跨語(yǔ)言,服務(wù)端和客戶端不必使用同一種語(yǔ)言。

分布式系統(tǒng)的軟件設(shè)計(jì)和功能劃分一般應(yīng)該以“進(jìn)程”為單位。從宏觀上看,一個(gè)分布式系統(tǒng)是由運(yùn)行在多臺(tái)機(jī)器上的多個(gè)進(jìn)程組成的,進(jìn)程之間采用TCP長(zhǎng)連接通信。

使用TCP長(zhǎng)連接的好處有兩點(diǎn):一是容易定位分布式系統(tǒng)中的服務(wù)之間的依賴關(guān)系。只要在機(jī)器上運(yùn)行netstat -tpna|grep 就能立刻列出用到某服務(wù)的客戶端地址(Foreign Address列),然后在客戶端的機(jī)器上用netstat或lsof命令找出是哪個(gè)進(jìn)程發(fā)起的連接。TCP短連接和UDP則不具備這一特性。二是通過(guò)接收和發(fā)送隊(duì)列的長(zhǎng)度也較容易定位網(wǎng)絡(luò)或程序故障。在正常運(yùn)行的時(shí)候,netstat打印的Recv-Q和Send-Q都應(yīng)該接近0,或者在0附近擺動(dòng)。如果Recv-Q保持不變或持續(xù)增加,則通常意味著服務(wù)進(jìn)程的處理速度變慢,可能發(fā)生了死鎖或阻塞。如果Send-Q保持不變或持續(xù)增加,有可能是對(duì)方服務(wù)器太忙、來(lái)不及處理,也有可能是網(wǎng)絡(luò)中間某個(gè)路由器或交換機(jī)故障造成丟包,甚至對(duì)方服務(wù)器掉線,這些因素都可能表現(xiàn)為數(shù)據(jù)發(fā)送不出去。通過(guò)持續(xù)監(jiān)控Recv-Q和Send-Q就能及早預(yù)警性能或可用性故障。以下是服務(wù)端線程阻塞造成Recv-Q和客戶端Send-Q激增的例子:

view plain copy

$netstat -tn

Proto Recv-Q Send-Q Local Address Foreign

tcp.0.0.10:.0.0.10:39748 #服務(wù)端連接

tcp.0.0.10:.0.0.10:2023 #客戶端連接

tcp.0.0.10:22 10.0.0.4:55572

五:多線程服務(wù)器的適用場(chǎng)合

如果要在一臺(tái)多核機(jī)器上提供一種服務(wù)或執(zhí)行一個(gè)任務(wù),可用的模式有:

a:運(yùn)行一個(gè)單線程的進(jìn)程;

b:運(yùn)行一個(gè)多線程的進(jìn)程;

c:運(yùn)行多個(gè)單線程的進(jìn)程;

d:運(yùn)行多個(gè)多線程的進(jìn)程;

考慮這樣的場(chǎng)景:如果使用速率為50MB/s的數(shù)據(jù)壓縮庫(kù),進(jìn)程創(chuàng)建銷毀的開(kāi)銷是800微秒,線程創(chuàng)建銷毀的開(kāi)銷是50微秒。如何執(zhí)行壓縮任務(wù)?

如果要偶爾壓縮1GB的文本文件,預(yù)計(jì)運(yùn)行時(shí)間是20s,那么起一個(gè)進(jìn)程去做是合理的,因?yàn)檫M(jìn)程啟動(dòng)和銷毀的開(kāi)銷遠(yuǎn)遠(yuǎn)小于實(shí)際任務(wù)的耗時(shí)。

如果要經(jīng)常壓縮500kB的文本數(shù)據(jù),預(yù)計(jì)運(yùn)行時(shí)間是10ms,那么每次都起進(jìn)程 似乎有點(diǎn)浪費(fèi)了,可以每次單獨(dú)起一個(gè)線程去做。

如果要頻繁壓縮10kB的文本數(shù)據(jù),預(yù)計(jì)運(yùn)行時(shí)間是200微秒,那么每次起線程似 乎也很浪費(fèi),不如直接在當(dāng)前線程搞定。也可以用一個(gè)線程池,每次把壓縮任務(wù)交給線程池,避免阻塞當(dāng)前線程(特別要避免阻塞IO線程)。

由此可見(jiàn),多線程并不是萬(wàn)靈丹(silver bullet)。

1:必須使用單線程的場(chǎng)合

據(jù)我所知,有兩種場(chǎng)合必須使用單線程:

a:程序可能會(huì)fork(2);

實(shí)際編程中,應(yīng)該保證只有單線程程序能進(jìn)行fork(2)。多線程程序不是不能調(diào)用fork(2),而是這么做會(huì)遇到很多麻煩:

fork一般不能在多線程程序中調(diào)用,因?yàn)長(zhǎng)inux的fork只克隆當(dāng)前線程的thread of control,不可隆其他線程。fork之后,除了當(dāng)前線程之外,其他線程都消失了。

這就造成一種危險(xiǎn)的局面。其他線程可能正好處于臨界區(qū)之內(nèi),持有了某個(gè)鎖,而它突然死亡,再也沒(méi)有機(jī)會(huì)去解鎖了。此時(shí)如果子進(jìn)程試圖再對(duì)同一個(gè)mutex加鎖,就會(huì)立即死鎖。因此,fork之后,子進(jìn)程就相當(dāng)于處于signal handler之中(因?yàn)椴恢勒{(diào)用fork時(shí),父進(jìn)程中的線程此時(shí)正在調(diào)用什么函數(shù),這和信號(hào)發(fā)生時(shí)的場(chǎng)景一樣),你不能調(diào)用線程安全的函數(shù)(除非它是可重入的),而只能調(diào)用異步信號(hào)安全的函數(shù)。比如,fork之后,子進(jìn)程不能調(diào)用:

malloc,因?yàn)閙alloc在訪問(wèn)全局狀態(tài)時(shí)幾乎肯定會(huì)加鎖;

任何可能分配或釋放內(nèi)存的函數(shù),比如snprintf;

任何Pthreads函數(shù);

printf系列函數(shù),因?yàn)槠渌€程可能恰好持有stdout/stderr的鎖;

除了man 7 signal中明確列出的信號(hào)安全函數(shù)之外的任何函數(shù)。

因此,多線程中調(diào)用fork,唯一安全的做法是fork之后,立即調(diào)用exec執(zhí)行另一個(gè)程序,徹底隔斷子進(jìn)程與父進(jìn)程的聯(lián)系。

在多線程環(huán)境中調(diào)用fork,產(chǎn)生子進(jìn)程后。子進(jìn)程內(nèi)部只存在一個(gè)線程,也就是父進(jìn)程中調(diào)用fork的線程的副本。

使用fork創(chuàng)建子進(jìn)程時(shí),子進(jìn)程通過(guò)繼承整個(gè)地址空間的副本,也從父進(jìn)程那里繼承了所有互斥量、讀寫(xiě)鎖和條件變量的狀態(tài)。如果父進(jìn)程中的某個(gè)線程占有鎖,則子進(jìn)程同樣占有這些鎖。問(wèn)題是子進(jìn)程并不包含占有鎖的線程的副本,所以子進(jìn)程沒(méi)有辦法知道它占有了哪些鎖,并且需要釋放哪些鎖。

盡管Pthread提供了pthread_atfork函數(shù)試圖繞過(guò)這樣的問(wèn)題,但是這回使得代碼變得混亂。因此《Programming With Posix Threads》一書(shū)的作者說(shuō):”Avoid using fork in threaded code except where the child process will immediately exec a new program.”。

b:限制程序的CPU占用率;

這個(gè)很容易理解,比如在一個(gè)8核的服務(wù)器上,一個(gè)單線程程序即便發(fā)生busy-wait,占滿1個(gè)core,其CPU使用率也只有12.5%,在這種最壞的情況下,系統(tǒng)還是有87.5%的計(jì)算資源可供其他服務(wù)進(jìn)程使用。

linux 多核多線程的介紹就聊到這里吧,感謝你花時(shí)間閱讀本站內(nèi)容,更多關(guān)于linux 多核多線程,探索Linux多核多線程技術(shù),如何看懂《Linux多線程服務(wù)端編程的信息別忘了在本站進(jìn)行查找喔。

香港服務(wù)器選創(chuàng)新互聯(lián),2H2G首月10元開(kāi)通。
創(chuàng)新互聯(lián)(www.cdcxhl.com)互聯(lián)網(wǎng)服務(wù)提供商,擁有超過(guò)10年的服務(wù)器租用、服務(wù)器托管、云服務(wù)器、虛擬主機(jī)、網(wǎng)站系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn)。專業(yè)提供云主機(jī)、虛擬主機(jī)、域名注冊(cè)、VPS主機(jī)、云服務(wù)器、香港云服務(wù)器、免備案服務(wù)器等。


當(dāng)前名稱:探索Linux多核多線程技術(shù)(linux多核多線程)
文章地址:http://www.5511xx.com/article/cdoggcg.html