日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時間：8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
手把手教你寫網(wǎng)絡(luò)爬蟲（5）：PhantomJS實戰(zhàn)

本系列：

  • 《手把手教你寫網(wǎng)絡(luò)爬蟲（1）：網(wǎng)易云音樂歌單》
  • 《手把手教你寫網(wǎng)絡(luò)爬蟲（2）：迷你爬蟲架構(gòu)》
  • 《手把手教你寫網(wǎng)絡(luò)爬蟲（3）：開源爬蟲框架對比》
  • 《手把手教你寫網(wǎng)絡(luò)爬蟲（4）：Scrapy入門》

大家好！從今天開始，我要與大家一起打造一個屬于我們自己的分布式爬蟲平臺，同時也會對涉及到的技術(shù)進行詳細介紹。大家如果有什么好的想法請多留言，多提意見，一起來完善我們的爬蟲平臺。在正式介紹平臺之前，先用一些篇幅對基礎(chǔ)篇做一點補充。模擬滾動

這次的目標(biāo)是爬一個眾籌網(wǎng)站的所有項目，項目列表頁如下：https://www.kaistart.com/project/more.html。打開后進行分析，頁面顯示出10個項目：

如果想看到更多項目，并不能像網(wǎng)易云音樂那樣點“下一頁”翻頁，而是需要向下拉滾動條或者向下滾動鼠標(biāo)滾輪來觸發(fā)異步請求。爬蟲該如何應(yīng)對這種情況呢？我們可以使用selenium的api執(zhí)行js代碼將屏幕內(nèi)容滾動到指定位置。

下面這段代碼會一直向下滾動項目頁，一直到滾不動為止：

 
 
 
 
    
  
  
  
  
  1. # 一直滾動到***部  
    2. 
  
  
  
  
  2. js1 = 'return document.body.scrollHeight'  
    3. 
  
  
  
  
  3. js2 = 'window.scrollTo(0, document.body.scrollHeight)'  
    4. 
  
  
  
  
  4. old_scroll_height = 0  
    5. 
  
  
  
  
  5. while browser.execute_script(js1) >= old_scroll_height:  
    6. 
  
  
  
  
  6.     old_scroll_height = browser.execute_script(js1)  
    7. 
  
  
  
  
  7.     browser.execute_script(js2)  
    8. 
  
  
  
  
  8.     time.sleep(1) 
    9.

scrollTo() 方法可把內(nèi)容滾動到指定的坐標(biāo)：

參數(shù)描述
xpos必需。要在窗口文檔顯示區(qū)左上角顯示的文檔的 x 坐標(biāo)。
ypos必需。要在窗口文檔顯示區(qū)左上角顯示的文檔的 y 坐標(biāo)。

這里用到了scrollHeight，它和ClientHeight還有OffsetHeight有什么區(qū)別呢？

 

 
 
 
 
    
  
  
  
  
  1. browser = webdriver.PhantomJs()  
    2. 
  
  
  
  
  2. url = 'https://www.kaistart.com/project/more.html'  
    3. 
  
  
  
  
  3. try:  
    4. 
  
  
  
  
  4.     browser.get(url)  
    5. 
  
  
  
  
  5.     wait = ui.WebDriverWait(browser, 20)  
    6. 
  
  
  
  
  6.     wait.until(lambda dr: dr.find_element_by_class_name('project-detail').is_displayed())   
    7. 
  
  
  
  
  7.  
    8. 
  
  
  
  
  8.     # 一直滾動到***部  
    9. 
  
  
  
  
  9.     js1 = 'return document.body.scrollHeight'  
    10. 
  
  
  
  
  10.     js2 = 'window.scrollTo(0, document.body.scrollHeight)'  
    11. 
  
  
  
  
  11.     old_scroll_height = 0  
    12. 
  
  
  
  
  12.     while browser.execute_script(js1) >= old_scroll_height:  
    13. 
  
  
  
  
  13.         old_scroll_height = browser.execute_script(js1)  
    14. 
  
  
  
  
  14.         browser.execute_script(js2)  
    15. 
  
  
  
  
  15.         time.sleep(1)  
    16. 
  
  
  
  
  16.     sel = Selector(text=browser.page_source)  
    17. 
  
  
  
  
  17.     proj_list = sel.xpath('//li[@class="project-li"]')  
    18. 
 
 
 
 

 
 
 
 
    
  
  
  
  
  1. browser.save_screenshot(debug.png')  
    2.

這樣就會把圖片保存在項目目錄，打開看看：

 

 
 
 
 
    
  
  
  
  
  1. browser = webdriver.Chrome() 
    2.

再次運行程序，不出所料，Chrome瀏覽器彈出來，不僅能夠正確顯示頁面，還一直在滾動：

項目全都刷出來了，想爬什么就爬吧！什么？你問我在Linux服務(wù)器上怎么爬？純命令行的那種嗎？

 

 
 
 
 
    
  
  
  
  
  1. from selenium import webdriver  
    2. 
  
  
  
  
  2. from pyvirtualdisplay import Display   
    3. 
  
  
  
  
  3.  
    4. 
  
  
  
  
  4. display = Display(visible=0, size=(800, 600))  
    5. 
  
  
  
  
  5. display.start()  
    6. 
  
  
  
  
  6. driver = webdriver.Chrome()  
    7. 
  
  
  
  
  7. driver.get("http://www.baidu.com")  
    8. 
  
  
  
  
  8. print (driver.page_source.encode('utf-8'))  
    9. 
  
  
  
  
  9. driver.quit()  
    10. 
  
  
  
  
  10. display.stop() 
    11.


本文名稱：手把手教你寫網(wǎng)絡(luò)爬蟲（5）：PhantomJS實戰(zhàn)
網(wǎng)頁路徑：http://www.5511xx.com/article/cdsepdh.html