建站
咨詢
售后
建站咨詢
新聞中心
如果你正在學(xué)習(xí)編程，那么“爬蟲”絕對(duì)是你不可忽視的。那么，學(xué)習(xí)python爬蟲之前需要哪些準(zhǔn)備？
創(chuàng)新互聯(lián)是創(chuàng)新、創(chuàng)意、研發(fā)型一體的綜合型網(wǎng)站建設(shè)公司，自成立以來公司不斷探索創(chuàng)新，始終堅(jiān)持為客戶提供滿意周到的服務(wù)，在本地打下了良好的口碑，在過去的10余年時(shí)間我們累計(jì)服務(wù)了上千家以及全國政企客戶，如成都砂巖浮雕等企業(yè)單位，完善的項(xiàng)目管理流程，嚴(yán)格把控項(xiàng)目進(jìn)度與質(zhì)量監(jiān)控加上過硬的技術(shù)實(shí)力獲得客戶的一致夸獎(jiǎng)。
-
一顆熱愛學(xué)習(xí)，不屈不撓的心
-
一臺(tái)有鍵盤的電腦（什么系統(tǒng)都行。我用的os x，所以例子會(huì)以這個(gè)為準(zhǔn)）
-
html相關(guān)的一些知識(shí)。不需要精通，能懂一點(diǎn)就行
-
Python的基礎(chǔ)語法知識(shí) 。
當(dāng)這些你都具備了，這個(gè)時(shí)候你需要學(xué)習(xí)：
0.基本的爬蟲工作原理
1.基本的http抓取工具：scrapy
2.Bloom Filter: Bloom Filters by Example
3.如果需要大規(guī)模網(wǎng)頁抓取，你需要學(xué)習(xí)分布式爬蟲的概念。簡單來說，你只要學(xué)會(huì)怎樣維護(hù)一個(gè)所有集群機(jī)器能夠有效分享的分布式隊(duì)列就好。最簡單的實(shí)現(xiàn)是python-rq: https://github.com/nvie/rq
4.rq和Scrapy的結(jié)合：darkrho/scrapy-redis · GitHub
5.后續(xù)處理：網(wǎng)頁析取(grangier/python-goose · GitHub)，存儲(chǔ)(Mongodb)
python的火，很大原因就是各種好用的模塊，這些模塊是居家旅行爬網(wǎng)站常備的——
*** F12 開發(fā)者工具
-
看源代碼：快速定位元素
-
分析xpath：1、此處建議谷歌系瀏覽器,可以在源碼界面直接右鍵看
NO.2 抓包工具
-
推薦httpfox，火狐瀏覽器下的插件,比谷歌火狐系自帶的F12工具都要好，可以方便查看網(wǎng)站收包發(fā)包的信息
NO.3 XPATH CHECKER (火狐插件）
非常不錯(cuò)的xpath測試工具，不過也有幾個(gè)小缺點(diǎn)，：
-
xpath checker生成的是絕對(duì)路徑，遇到一些動(dòng)態(tài)生成的圖標(biāo)（常見的有列表翻頁按鈕等），飄忽不定的絕對(duì)路徑很有可能造成錯(cuò)誤，所以這里建議在真正分析的時(shí)候，只是作為參考
-
記得把如下圖xpath框里的“x:”去掉，貌似這個(gè)是早期版本xpath的語法，目前已經(jīng)和一些模塊不兼容（比如scrapy），還是刪去避免報(bào)錯(cuò)。
NO.4 正則表達(dá)測試工具
在線正則表達(dá)式測試 ，拿來多練練手，也輔助分析！里面有很多現(xiàn)成的正則表達(dá)式可以用，也可以進(jìn)行參考！
本文標(biāo)題：從零開始寫Python爬蟲，四大工具你值得擁有！
標(biāo)題鏈接：http://www.5511xx.com/article/dhcejeg.html
