日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時間：8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
爬蟲-化被動為主動

一、前言

創(chuàng)新互聯(lián)堅持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：網(wǎng)站建設(shè)、網(wǎng)站設(shè)計、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時代的霍山網(wǎng)站設(shè)計、移動媒體設(shè)計的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

現(xiàn)在網(wǎng)上有很多被動式掃描器，配置一個代理給瀏覽器設(shè)置，然后人去點擊瀏覽器上的網(wǎng)頁，在這種模式下抓到的URL數(shù)量沒有用爬蟲的效果好。

我個人是比較懶的，先也寫了個被動的掃描器，不想改以前寫的東西，而且被動也有被動的優(yōu)點，所以就想可不可以讓爬蟲也設(shè)置個代理。就有了下面的東西，很方便。

二、實操

如何在不改變原被動掃描器的情況下讓被動變成主動。

主結(jié)構(gòu)：

以phantomjs為核心，用JS模仿人對頁面的操作，代理軟件抓鏈接。以下流程是通用pychon腳本實現(xiàn)的。

1打開瀏覽器并設(shè)置代理->2輸入網(wǎng)址->3填充表單->4點擊按鈕->5點擊超鏈拉->6關(guān)閉標簽->7關(guān)閉瀏覽器，循環(huán)2-6。

1. 打開瀏覽器并設(shè)置代理

 
 
 
 
      
  
  
  
  1. proxy_config = [ 
    2.   
  
  
  
  2.     '--proxy=127.0.0.1:8080', 
    3.   
  
  
  
  3.     '--proxy-type=http', 
    4.   
  
  
  
  4.     '--ignore-ssl-errors=yes', 
    5.   
  
  
  
  5. ] 
    6.   
  
  
  
  6. phantomjs_path='/home/ubuntu_235/proxyscan/phantomjs/phantomjs/bin/phantomjs' 
    7.   
  
  
  
  7. driver = webdriver.PhantomJS(executable_path=phantomjs_path,service_args=sys_config) 
    8.

2. 輸入網(wǎng)址

 
 
 
 
      
  
  
  
  1. driver.get('http://demo.aisec.cn') 
    2.

3. 填充表單

 
 
 
 
      
  
  
  
  1. _input_text = """ 
    2.   
  
  
  
  2.         var input_list=document.getElementsByTagName("input"); 
    3.   
  
  
  
  3.         for (i_i=0;i_i  
  
  
  
  4.         var input_type=input_list[i_i].attributes["type"].value 
    5.   
  
  
  
  5.         if (input_type == "text" || input_type == "password"){ 
    6.   
  
  
  
  6.         input_list[i_i].value="ascan@ascan.com"; 
    7.   
  
  
  
  7.         continue; 
    8.   
  
  
  
  8.         } 
    9.   
  
  
  
  9.         if (input_type == "radio" || input_type == "checkbox"){ 
    10.   
  
  
  
  10.         input_list[i_i].setAttribute('target','_blank'); 
    11.   
  
  
  
  11.         input_list[i_i].checked="True"; 
    12.   
  
  
  
  12.         } 
    13.   
  
  
  
  13.         } 
    14.   
  
  
  
  14. """ 
    15.

4. 點擊按鈕

 
 
 
 
      
  
  
  
  1. _but_click = """ 
    2.   
  
  
  
  2.         var but_list=document.getElementsByTagName("input"); 
    3.   
  
  
  
  3.         for (b_i=0;b_i  
  
  
  
  4.                 var but_type=but_list[b_i].attributes["type"].value 
    5.   
  
  
  
  5.         if (but_type == "button" || but_type == "submit"){ 
    6.   
  
  
  
  6.         but_list[b_i].setAttribute('target','_blank'); 
    7.   
  
  
  
  7.         but_list[b_i].click(); 
    8.   
  
  
  
  8.         } 
    9.   
  
  
  
  9.         } 
    10.   
  
  
  
  10.         """ 
    11.

5. 點擊超鏈接

 
 
 
 
      
  
  
  
  1. _a_click = """ 
    2.   
  
  
  
  2.        var a_list=document.getElementsByTagName("a"); 
    3.   
  
  
  
  3.        for (a_i=0;a_i  
  
  
  
  4.        a_list[a_i].setAttribute('target','_blank'); 
    5.   
  
  
  
  5.        a_list[a_i].click(); 
    6.   
  
  
  
  6.        } 
    7.   
  
  
  
  7.        """ 
    8.

這里注意下，我在click前給標簽加了一個target=”_blank”,在新的標簽頁打開鏈接

6. 關(guān)閉標簽

 
 
 
 
      
  
  
  
  1. for h in driver.window_handles[1:]: 
    2.   
  
  
  
  2. driver.switch_to_window(h) 
    3.   
  
  
  
  3. driver.close() 
    4.

注意：應該先獲取有標簽頁的handle在用switch_to_window

切換到該標簽頁，執(zhí)行quit()操作。driver.window_handles[1:]保留的是第一個頁面。

在完成所有操作后關(guān)閉瀏覽器

 
 
 
 
      
  
  
  
  1. driver.close() 
    2.

通過burpsuite抓到的請求包

最終實現(xiàn)的結(jié)果展示

一些注意點：

如何獲取當前頁面的所有標簽的href?

 
 
 
 
      
  
  
  
  1. url_list=[] 
    2.   
  
  
  
  2. a_list=self.driver.find_elements_by_xpath("http://a[@href]") 
    3.   
  
  
  
  3. for a in a_list: 
    4.   
  
  
  
  4. url_list.append(a.get_attribute("href")) 
    5.   
  
  
  
  5. print(url_list) 
    6.

如何獲取當前標簽的URL?

  
  
 
 
       
   
  
  
  1. driver.current_url 
    2.

有什么坑?

a.瀏覽器打頁面要時間，但python不知道(不是真不知道)

b.會不明原因的卡死，沒有報錯

c.頁面跳轉(zhuǎn)


網(wǎng)頁標題：爬蟲-化被動為主動
URL地址：http://www.5511xx.com/article/cdsospi.html