新聞中心
我很喜歡用python,用python處理數據是家常便飯,從事的工作涉及nlp,算法,推薦,數據挖掘,數據清洗,數據量級從幾十k到幾T

成都創(chuàng)新互聯公司是專業(yè)的資中網站建設公司,資中接單;提供成都網站建設、做網站,網頁設計,網站設計,建網站,PHP網站建設等專業(yè)做網站服務;采用PHP框架,可快速的進行資中網站開發(fā)網頁制作和功能擴展;專業(yè)做搜索引擎喜愛的網站,專業(yè)的做網站團隊,希望更多企業(yè)前來合作!
不等,我來說說吧
百萬級別數據是小數據,python處理起來不成問題,python處理數據還是有些問題的
Python處理大數據的劣勢:
1.python線程有gil,通俗說就是多線程的時候只能在一個核上跑,浪費了多核服務器。在一種常見的場景下是要命的:并發(fā)單元之間有巨
大的數據共享或者共用(例如大dict),多進程會導致內存吃緊,多線程則解決不了數據共享的問題,單獨的寫一個進程之間負責維護讀
寫這個數據不僅效率不高而且麻煩
2.python執(zhí)行效率不高,在處理大數據的時候,效率不高,這是真的,pypy(一個jit的python解釋器,可以理解成腳本語言加速執(zhí)行的
東西)能夠提高很大的速度,但是pypy不支持很多python經典的包,例如numpy(順便給pypy做做廣告,土豪可以捐贈一下PyPy -
Call for donations)
3.絕大部分的大公司,用java處理大數據不管是環(huán)境也好,積累也好,都會好很多。
推薦學習《python教程》
Python處理數據的優(yōu)勢(不是處理大數據):
1. 異??旖莸拈_發(fā)速度,代碼量巨少 2. 豐富的數據處理包,不管正則也好,html解析啦,xml解析啦,用起來非常方便 3. 內部類型使用成本巨低,不需要額外怎么操作(java,c++用個map都很費勁) 4. 公司中,很大量的數據處理工作工作是不需要面對非常大的數據的 5. 巨大的數據不是語言所能解決的,需要處理數據的框架(hadoop, mpi。。。。)雖然小眾,但是python還是有處理大數據的框 架的,或者一些框架也支持python 6. 編碼問題處理起來太太太方便了
綜上所述:
1. python可以處理大數據
2. python處理大數據不一定是最優(yōu)的選擇
3. python和其他語言(公司主推的方式)并行使用是非常不錯的選擇
4. 因為開發(fā)速度,你如果經常處理數據,而且喜歡linux終端,而且經常處理不大的數據(100m一下),最好還是學一下python
文章名稱:創(chuàng)新互聯Python教程:大數據需要學Python嗎
網址分享:http://www.5511xx.com/article/cciioei.html


咨詢
建站咨詢
