建站
咨詢
售后
建站咨詢
新聞中心
爬蟲工程師的的薪資為20K起，當然，因為大數(shù)據(jù)，薪資也將一路上揚。那么，Python需要學到什么程度呢?今天我們來看看3位前輩的回答。
成都創(chuàng)新互聯(lián)是一家專注于成都網(wǎng)站設計、做網(wǎng)站、成都外貿網(wǎng)站建設公司與策劃設計,延平網(wǎng)站建設哪家好?成都創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設10年,網(wǎng)設計領域的專業(yè)建站公司;建站業(yè)務涵蓋:延平等地區(qū)。延平做網(wǎng)站價格咨詢:13518219792
1、前段時間快要畢業(yè)，而我又不想找自己的老本行Java開發(fā)了，所以面了很多Python爬蟲崗位。
因為我在南京上學，所以我一開始只是在南京投了簡歷，我一共面試了十幾家企業(yè)，其中只有一家沒有給我發(fā)offer，其他企業(yè)都愿意給到10K的薪資，不要拿南京的薪資水平和北上深的薪資水平比較，結合面試常問的問題類型說一說我的心得體會。
***點：Python
因為面試的是Python爬蟲崗位，面試官大多數(shù)會考察面試者的基礎的Python知識，包括但不限于：
- Python2.x與Python3.x的區(qū)別
- Python的裝飾器
- Python的異步
Python的一些常用內置庫，比如多線程之類的
- 第二點：數(shù)據(jù)結構與算法
- 數(shù)據(jù)結構與算法是對面試者尤其是校招生面試的一個很重要的點，當然小公司不會太在意這些，從目前的招聘情況來看對面試者的數(shù)據(jù)結構與算法的重視程度與企業(yè)的好壞成正比，那些從不問你數(shù)據(jù)結構的你就要當心他們是否把你當碼農用的，當然以上情況不絕對，最終解釋權歸面試官所有。
第三點：Python爬蟲
最重要也是最關鍵的一點當然是你的Python爬蟲相關的知識與經驗儲備，這通常也是面試官考察的重點，包括但不限于：
- 你用過多線程和異步嗎?除此之外你還用過什么方法來提高爬蟲效率?
- 有沒有做過增量式抓取?
- 對Python爬蟲框架是否有了解?
第四點：爬蟲相關的項目經驗
爬蟲重在實踐，除了理論知識之外，面試官也會十分注重爬蟲相關的項目：
- 你做過哪些爬蟲項目?如果有Github***
- 你認為你做的***的爬蟲項目是哪個?其中解決了什么難題?有什么特別之處?
以上是我在面試過程中，會碰到的一些技術相關的問題的總結，當然面試中不光是技術這一點，但是對于做技術的，過了技術面基本上就是薪資問題了。
也許有人問我現(xiàn)在在哪家公司做爬蟲開發(fā)?很抱歉，最終我放棄了南京的所有機會到了上海做我更喜歡的崗位：數(shù)據(jù)工程師。
2、給你一點我的面經吧。
初級的：
- 網(wǎng)絡基礎：cookie,session,https,headers常用的字段,代理使用等等
- python基礎：這個網(wǎng)上搜到的面經都得會，加上異步，多進程，多線程等等
- 爬蟲：xpath，requests如何處理https，常見的反爬措施，舉例說一個最難的爬蟲過程，scrapy使用中的細節(jié)，例如代理，cookie，傳參等等。
- 數(shù)據(jù)庫：數(shù)據(jù)庫操作，并表之類的。
中級：
- 網(wǎng)絡：幾層網(wǎng)絡層的細節(jié)，比如說說udp/tcp/smtp區(qū)別，說說10.x.x.x/127.x.x.x/192.x.x.x的區(qū)別，說說DNS，談談路由交換機的區(qū)別
- python：多重繼承，多態(tài)，單例用裝飾器的實現(xiàn)，數(shù)組/生成器/列表解析效率等等稍深入的細節(jié)
- 爬蟲：分布式爬蟲的實現(xiàn)，給你一個任務你馬上給出一個合理的架構，驗證碼的處理，增量數(shù)據(jù)爬取，寫爬蟲時有沒寫些輔助工具。
- 數(shù)據(jù)庫：sql nosql的細節(jié)，性能上的。
- 加分項：數(shù)據(jù)挖掘，機器學習，自然語言處理，能寫網(wǎng)站，熟練操作linux，github小星星
3、首先說說Python吧
爬蟲給人的感覺就是對于Python編程的知識要求并不高，確實，搞懂基本數(shù)據(jù)結構、語句，會寫寫函數(shù)好像就OK了。
自己業(yè)余玩玩爬點數(shù)據(jù)還OK，但是你是要找工作成功爬蟲工程師的，扎實的編程基礎可不是會寫函數(shù)就夠了的。Python的高級特性、面向對象編程、多線程、裝飾器等等你至少需要了解一下吧。
現(xiàn)在很多爬蟲工程師的面試，編程的基本功要求還是很高的。編程的功底，以及對語言的理解，從某種程度上可以看出你的學習能力、發(fā)展?jié)摿Α?/p>
爬蟲技術
- HTTP必須要有很深刻的理解，這是你縱橫網(wǎng)絡的立身之本;
- BeautifulSoup、xpath這些都是基礎操作了，一定要做到非常熟練;
- Scrapy框架要會用，要能信手捏來寫個分布式爬蟲;
- Webdriver、Selenium、PhantomJS至少也要會使用吧;
- 反爬蟲的技巧，重中之重，能不能搞回來數(shù)據(jù)，能高多少數(shù)據(jù)回來，很大程度依賴于此。抓包、cookie分析、代理池搭建、字體加密、驗證碼處理等等，也都是常規(guī)操作了;
- 當然數(shù)據(jù)庫也少不了啊。一般企業(yè)要求至少會一種SQL和一種noSQL。
了解布隆過濾器，會增量爬取。
加分項：
- 掌握Python web相關的一些東西，能夠進行后端開發(fā);
- 掌握數(shù)據(jù)分析或者數(shù)據(jù)挖掘的技能，能夠搞個算法模型，做個分析和預測。
今天就聊到這里啦!
網(wǎng)站標題：起薪2萬的爬蟲工程師，Python需要學到什么程度才可以就業(yè)？
當前路徑：http://www.5511xx.com/article/cohjdgd.html
