建站
咨詢
售后
建站咨詢
新聞中心
作者｜盧佳瑜，單位：中移物聯(lián)網(wǎng)有限公司
在涪城等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供網(wǎng)站制作、成都網(wǎng)站建設(shè) 網(wǎng)站設(shè)計(jì)制作按需網(wǎng)站設(shè)計(jì),公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),成都品牌網(wǎng)站建設(shè),全網(wǎng)整合營(yíng)銷推廣,外貿(mào)網(wǎng)站建設(shè),涪城網(wǎng)站建設(shè)費(fèi)用合理。
Labs 導(dǎo)讀
云原生時(shí)代，應(yīng)用對(duì)硬件資源的需求增長(zhǎng)巨大，但單核CPU性能的提升存在瓶頸，摩爾定律已經(jīng)失效。性能的提升更多側(cè)重于使用多核并發(fā)，而不是依賴單核性能。
俗話說再強(qiáng)的個(gè)人也敵不過訓(xùn)練有素的團(tuán)隊(duì)，便是這個(gè)道理。
但即便是對(duì)多核的利用，也分為多進(jìn)程、多線程等不同的方案， 我們經(jīng)常會(huì)聽到老手說：“python下多線程是雞肋，推薦使用多進(jìn)程！”
為什么這么說呢？
要知其然，更要知其所以然。所以有了下面的深入研究。
Part 01 概述
目前算力網(wǎng)絡(luò)發(fā)展中，經(jīng)常出現(xiàn)并行計(jì)算的需求，而在python中，如果你使用多線程進(jìn)行并行，那么就會(huì)面臨一個(gè)尷尬的問題：一核干活，其它圍觀。為什么會(huì)出現(xiàn)這樣一個(gè)尷尬的問題呢？是因?yàn)閜ython中GIL鎖的存在。
GIL是什么？
GIL的全稱是Global Interpreter Lock(全局解釋器鎖)，來源是python設(shè)計(jì)之初的考慮，為了數(shù)據(jù)安全所做的決定，每個(gè)進(jìn)程單獨(dú)擁有一把GIL鎖。
進(jìn)程是什么？
進(jìn)程是程序的一次執(zhí)行過程，是一個(gè)動(dòng)態(tài)概念，是程序在執(zhí)行過程中分配和管理資源的基本單位，
線程是什么？
線程是CPU調(diào)度和分派的基本單位，它可與同屬一個(gè)進(jìn)程的其他的線程共享進(jìn)程所擁有的全部資源。
進(jìn)程與線程的關(guān)系？
線程是進(jìn)程的一部分，一個(gè)線程只能屬于一個(gè)進(jìn)程，而一個(gè)進(jìn)程可以有多個(gè)線程，但至少有一個(gè)線程。
為什么用多進(jìn)程和多線程？
現(xiàn)代CPU通常是多核CPU，如果業(yè)務(wù)代碼是單進(jìn)程/單線程，那么在運(yùn)行時(shí)實(shí)際上就只能使用一個(gè)CPU核心，其他核心只能浪費(fèi)，為了提升代碼運(yùn)行效率，我們使用多進(jìn)程or多線程，對(duì)多個(gè)CPU核心進(jìn)行充分利用，以提升代碼執(zhí)行效率。
Part 02 執(zhí)行原理
每個(gè)CPU核心在同一時(shí)間只能執(zhí)行一個(gè)線程（在單核CPU下的多線程其實(shí)都只是并發(fā)，不是并行，并發(fā)和并行從宏觀上來講都是同時(shí)處理多路請(qǐng)求的概念。但并發(fā)和并行又有區(qū)別，并行是指兩個(gè)或者多個(gè)事件在同一時(shí)刻發(fā)生；而并發(fā)是指兩個(gè)或多個(gè)事件在同一時(shí)間間隔內(nèi)發(fā)生。）
在Python多線程下，每個(gè)線程的執(zhí)行方式：
- 獲取GIL
- 執(zhí)行代碼直到sleep或者是python虛擬機(jī)將其掛起。
- 釋放GIL
可見，某個(gè)線程想要執(zhí)行，必須先拿到GIL，我們可以把GIL看作是“通行證”，并且在一個(gè)python進(jìn)程中，GIL只有一個(gè)。拿不到通行證的線程，就不允許進(jìn)入CPU執(zhí)行。
在python2.x里，GIL的釋放邏輯是當(dāng)前線程遇見IO操作或者ticks計(jì)數(shù)達(dá)到100（ticks可以看作是python自身的一個(gè)計(jì)數(shù)器，專門做用于GIL，每次釋放后歸零，這個(gè)計(jì)數(shù)可以通過 sys.setcheckinterval 來調(diào)整），進(jìn)行釋放。
而每次釋放GIL鎖，線程進(jìn)行鎖競(jìng)爭(zhēng)、切換線程，會(huì)消耗資源。并且由于GIL鎖存在，python里一個(gè)進(jìn)程永遠(yuǎn)只能同時(shí)執(zhí)行一個(gè)線程(拿到GIL的線程才能執(zhí)行)，這就是為什么在多核CPU上，python的多線程效率并不高。
Part 03 實(shí)際場(chǎng)景分析
在實(shí)際應(yīng)用場(chǎng)景中，并不是所有業(yè)務(wù)都能將CPU跑滿，也就并不是所有業(yè)務(wù)都需要使用多進(jìn)程，接下來我們分類進(jìn)行討論：
1、CPU密集型業(yè)務(wù)(各種循環(huán)處理、計(jì)數(shù)、數(shù)學(xué)計(jì)算等)，在這種情況下，ticks計(jì)數(shù)很快就會(huì)達(dá)到閾值，然后觸發(fā)GIL的釋放與再競(jìng)爭(zhēng)（多個(gè)線程來回切換當(dāng)然是需要消耗資源的），所以python下的多線程對(duì)CPU密集型代碼并不友好。
2、IO密集型業(yè)務(wù)(文件處理、網(wǎng)絡(luò)爬蟲等)，多線程能夠有效提升效率（單線程下有IO操作會(huì)進(jìn)行IO等待，造成不必要的時(shí)間浪費(fèi)，而開啟多線程能在線程A等待時(shí)，自動(dòng)切換到線程B，可以不浪費(fèi)CPU的資源，從而能提升程序執(zhí)行效率）。所以python的多線程對(duì)IO密集型代碼比較友好。
而在python3.x中，GIL不使用ticks計(jì)數(shù)，改為使用計(jì)時(shí)器（執(zhí)行時(shí)間達(dá)到閾值后，當(dāng)前線程釋放GIL），這樣對(duì)CPU密集型程序更加友好，但依然沒有解決GIL導(dǎo)致的同一時(shí)間只能執(zhí)行一個(gè)線程的問題，所以效率依然不盡如人意。
Part 04 總結(jié)
回到最開始的問題：經(jīng)常我們會(huì)聽到老手說：“python下想要充分利用多核CPU，就用多進(jìn)程”，原因是什么呢？
原因是每個(gè)進(jìn)程有各自獨(dú)立的GIL，互不干擾，這樣就可以真正意義上的并行執(zhí)行，所以在python中，多進(jìn)程的執(zhí)行效率優(yōu)于多線程(僅僅針對(duì)多核CPU而言)。
所以我們能夠得出結(jié)論：多核下，想做并行提升效率，比較通用的方法是使用多進(jìn)程，能夠有效提高執(zhí)行效率。?
分享名稱：提升CPU算力，在Python中使用多進(jìn)程模型
分享地址：http://www.5511xx.com/article/cdocggh.html
