日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間：8:30-17:00
你可能遇到了下面的問(wèn)題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷解決方案
Python多線程如何抓取網(wǎng)站內(nèi)容

Python多線程在不斷的使用中需要我們更多的學(xué)習(xí)相關(guān)的技術(shù)知識(shí)。單線程太慢的話，就需要Python多線程了，這里給個(gè)簡(jiǎn)單的線程池模板。這個(gè)程序只是簡(jiǎn)單地打印了110，但是可以看出是并發(fā)地。

成都創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比南昌縣網(wǎng)站開(kāi)發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式南昌縣網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋南昌縣地區(qū)。費(fèi)用合理售后完善，10年實(shí)體公司更值得信賴。

 
 
 
      
  
  
  1. from threading import Thread  
    2.   
  
  
  2. from Queue import Queue  
    3.   
  
  
  3. from time import sleep  
    4.   
  
  
  4. #q是任務(wù)隊(duì)列  
    5.   
  
  
  5. #NUM是并發(fā)線程總數(shù)  
    6.   
  
  
  6. #JOBS是有多少任務(wù)  
    7.   
  
  
  7. q = Queue()  
    8.   
  
  
  8. NUM = 2 
    9.   
  
  
  9. JOBS = 10 
    10.   
  
  
  10. #具體的處理函數(shù)，負(fù)責(zé)處理單個(gè)任務(wù)  
    11.   
  
  
  11. def do_somthing_using(arguments):  
    12.   
  
  
  12. print arguments  
    13.   
  
  
  13. #這個(gè)是工作進(jìn)程，負(fù)責(zé)不斷從隊(duì)列取數(shù)據(jù)并處理  
    14.   
  
  
  14. def working():  
    15.   
  
  
  15. while True:  
    16.   
  
  
  16. arguments = q.get()  
    17.   
  
  
  17. do_somthing_using(arguments)  
    18.   
  
  
  18. sleep(1)  
    19.   
  
  
  19. q.task_done()  
    20.   
  
  
  20. #fork NUM個(gè)線程等待隊(duì)列  
    21.   
  
  
  21. for i in range(NUM):  
    22.   
  
  
  22. t = Thread(target=working)  
    23.   
  
  
  23. t.setDaemon(True)  
    24.   
  
  
  24. t.start()  
    25.   
  
  
  25. #把JOBS排入隊(duì)列  
    26.   
  
  
  26. for i in range(JOBS):  
    27.   
  
  
  27. q.put(i)  
    28.   
  
  
  28. #等待所有JOBS完成 
    29.

q.join()5.驗(yàn)證碼的處理碰到驗(yàn)證碼咋辦？這里分兩種情況處理：

google那種驗(yàn)證碼，涼拌

簡(jiǎn)單的驗(yàn)證碼：字符個(gè)數(shù)有限，只使用了簡(jiǎn)單的平移或旋轉(zhuǎn)加噪音而沒(méi)有扭曲的，這種還是有可能可以處理的，一般思路是旋轉(zhuǎn)的轉(zhuǎn)回來(lái)，噪音去掉，然后劃分 單個(gè)字符，劃分好了以后再通過(guò)特征提取的方法(例如PCA) 降維并生成特征庫(kù)，然后把驗(yàn)證碼和特征庫(kù)進(jìn)行比較。這個(gè)比較復(fù)雜，一篇博文是說(shuō)不完的，這里就不展開(kāi)了，具體做法請(qǐng)弄本相關(guān)教科書(shū)好好研究一下。

事實(shí)上有些驗(yàn)證碼還是很弱的，這里就不點(diǎn)名了，反正我通過(guò)2的方法提取過(guò)準(zhǔn)確度非常高的驗(yàn)證碼，所以2事實(shí)上是可行的。

基本上我遇到過(guò)的所有情況，用以上方法都順利解決了，不太清楚還有沒(méi)有其他漏掉的情況，所以本文到這里就完成了，以后要是碰上其他情況，再補(bǔ)充相關(guān)方法好 了：）

【編輯推薦】

  1. Python邏輯操作中的三大應(yīng)用方案
  2. 簡(jiǎn)介Python代碼兩大實(shí)際應(yīng)用手冊(cè)
  3. Python語(yǔ)言如何在C語(yǔ)言中實(shí)現(xiàn)操作
  4. Python編程語(yǔ)言如何保存搜索引擎結(jié)果
  5. Python腳本在游戲中尋找自己的知音

本文名稱：Python多線程如何抓取網(wǎng)站內(nèi)容
網(wǎng)站路徑：http://www.5511xx.com/article/ccisscp.html