日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

#獲取網(wǎng)頁源碼
def get_one_page(url):
    try:
        response = requests.get(url)
        if response.status_code == 200:
           return response.text
        return None
    except RequestException:
      return None
#正則匹配提取目標(biāo)信息并形成字典
def parse_one_page(html):
    pattern = re.compile('
.*?data-src="(.*?)".*?
.*?det.*?>(.*?).*?p.*?(.*?).*?
',re.S)
    items = re.findall(pattern, html)
    j = 1
    for item in items[:-1]:
        yield {'index': str(j),
            'name': item[1],
            'class':item[2]
        }
        j = j+1
#結(jié)果寫入txt
def write_to_file(content):
    with open(r'test.txt', 'a', encoding='utf-8') as f:
        f.write(json.dumps(content, ensure_ascii=False)+'\n')

標(biāo)簽卻有 8 對。該 CSS 樣式的作用是隱藏標(biāo)簽，所以我們在頁面只看到 6 件商品，爬蟲程序會提取到 8 件商品的 URL。

圖14.蜜罐反爬蟲例子

三、反反爬相關(guān)技術(shù)

針對上一節(jié)提到的反爬蟲相關(guān)技術(shù)，有以下幾類反反爬技術(shù)手段：css偏移反反爬、自定義字體反反爬、頁面動態(tài)渲染反反爬、驗證碼破解等，下面對這幾類方法進行詳細的介紹。

3.1 CSS偏移反反爬

3.1.1 CSS偏移邏輯介紹

那么對于以上2.1css偏移反爬蟲的例子，怎么才能得到正確的機票價格呢。仔細觀察css樣式，可以發(fā)現(xiàn)每個帶有數(shù)字的標(biāo)簽都設(shè)定了樣式，第 1 對 b 標(biāo)簽內(nèi)的i 標(biāo)簽對的樣式是相同的，都是width: 16px；另外，還注意到最外層的 span 標(biāo)簽對的樣式為width:48px。

如果按照 css樣式這條線索來分析的話，第 1 對 b 標(biāo)簽中的 3 對 i 標(biāo)簽剛好占滿 span 標(biāo)簽對的位置，其位置如圖15所示。此時網(wǎng)頁中顯示的價格應(yīng)該是 777，但是由于第 2 和第 3 對 b 標(biāo)簽中有值，所以我們還需要計算它們的位置。由于第 2 對 b 標(biāo)簽的位置樣式是 left:-32px，所以第 2 對 b 標(biāo)簽中的值 6 就會覆蓋原來第 1 對 b 標(biāo)簽中的中的第 2 個數(shù)字 7，此時頁面應(yīng)該顯示的數(shù)字是 767。

按此規(guī)律推算，第 3 對 b 標(biāo)簽的位置樣式是 left:-48px，這個標(biāo)簽的值會覆蓋第 1 對 b 標(biāo)簽中的第 1 個數(shù)字 7，最后顯示的票價就是 467。

圖15.偏移邏輯

3.1.2 CSS偏移反反爬代碼實現(xiàn)

因此接下來我們按以上css樣式的規(guī)律來編寫代碼對該網(wǎng)頁爬取獲取正確的機票價格，代碼和結(jié)果如圖16所示。

if __name__ == '__main__':
    url = 'http://www.porters.vip/confusion/flight.html'
    resp = requests.get(url)
    sel = Selector(resp.text)
    em = sel.css('em.rel').extract()
    for element in range(0,1):
        element = Selector(em[element])
        element_b = element.css('b').extract()
        b1 = Selector(element_b.pop(0))
        base_price = b1.css('i::text').extract()
        print('css偏移前的價格：',base_price)
        alternate_price = []
        for eb in element_b:
            eb = Selector(eb)
            style = eb.css('b::attr("style")').get()
            position = ''.join(re.findall('left:(.*)px', style))
            value = eb.css('b::text').get()
            alternate_price.append({'position': position, 'value': value})
        print('css偏移值：',alternate_price)
        for al in alternate_price:
            position = int(al.get('position'))
            value = al.get('value')
            plus = True if position >= 0 else False
            index = int(position / 16)
            base_price[index] = value
        print('css偏移后的價格：',base_price)

圖16. CSS 偏移反反爬代碼與結(jié)果

3.2 自定義字體反反爬

針對于以上2.3自定義字體反爬蟲的情況，解決思路就是提取出網(wǎng)頁中自定義字體文件（一般為WOFF文件），并將映射關(guān)系包含到爬蟲代碼中，就可以獲取到有效數(shù)據(jù)。解決的步驟如下：

發(fā)現(xiàn)問題：查看網(wǎng)頁源代碼，發(fā)現(xiàn)關(guān)鍵字符被編碼替代，如

分析：檢查網(wǎng)頁，發(fā)現(xiàn)應(yīng)用了css自定義字符集隱藏

查找：查找css文件url，獲取字符集對應(yīng)的url，如PingFangSC-Regular-num

查找：查找和下載字符集url

比對：比對字符集中的字符與網(wǎng)頁源代碼中的編碼，發(fā)現(xiàn)編碼的后四位與字符對應(yīng)，也即網(wǎng)頁源代碼對應(yīng)的口味是8.9分

3.3 頁面動態(tài)渲染反反爬

客戶端渲染的反爬蟲，頁面代碼在瀏覽器源代碼中看不到，需要執(zhí)行渲染并進一步獲取渲染后結(jié)果。針對這種反爬蟲，有以下幾種方式破解：

1. 在瀏覽器中，通過開發(fā)者工具直接查看ajax具體的請求方式、參數(shù)等內(nèi)容；
2. 通過selenium模擬真人操作瀏覽器，獲取渲染后的結(jié)果，之后的操作步驟和服務(wù)端渲染的流程一樣；
3. 如果渲染的數(shù)據(jù)隱藏在html結(jié)果的JS變量中，可以直接正則提??；
4. 如果有通過JS生成的加密參數(shù)，可以找出加密部分的代碼，然后使用pyexecJS來模擬執(zhí)行JS，返回執(zhí)行結(jié)果。

3.4 驗證碼破解

下面舉例一個識別滑塊驗證碼的例子，如圖17所示，是使用目標(biāo)檢測模型來識別某滑塊驗證碼缺口位置的結(jié)果示例，這種破解滑塊驗證碼的方式對應(yīng)的是模擬真人的方式。不采用接口破解的原因一方面是破解加密算法有難度，另一方面也是加密算法可能每天都會變，這樣破解的時間成本也比較大。

圖17. 通過目標(biāo)檢測模型識別滑塊驗證碼的缺口

3.4.1 爬取滑塊驗證碼圖片

因為使用的目標(biāo)檢測模型yolov5是有監(jiān)督學(xué)習(xí)，所以需要爬取滑塊驗證碼的圖片并進行打標(biāo)，進而輸入到模型中訓(xùn)練。通過模擬真人的方式在某場景爬取部分驗證碼。

圖18. 爬取的滑塊驗證碼圖片

3.4.2 人工打標(biāo)

本次使用的是labelImg來對圖片人工打標(biāo)簽的，人工打標(biāo)耗時較長，100張圖片一般耗時40分鐘左右。自動打標(biāo)代碼寫起來比較復(fù)雜，主要是需要分別提取出驗證碼的所有背景圖片和缺口圖片，然后隨機生成缺口位置，作為標(biāo)簽，同時將缺口放到對應(yīng)的缺口位置，生成圖片，作為輸入。

圖19. 對驗證碼圖片打標(biāo)簽以及打標(biāo)簽后生成的xml文件

3.4.3 目標(biāo)檢測模型yolov5

直接從github下clone yolov5的官方代碼，它是基于pytorch實現(xiàn)。

接下來的使用步驟如下：

1. 數(shù)據(jù)格式轉(zhuǎn)換：將人工標(biāo)注的圖片和標(biāo)簽文件轉(zhuǎn)換為yolov5接收的數(shù)據(jù)格式，得到1100張圖片和1100個yolov5格式的標(biāo)簽文件；
2. 新建數(shù)據(jù)集：新建custom.yaml文件來創(chuàng)建自己的數(shù)據(jù)集，包括訓(xùn)練集和驗證集的目錄、類別數(shù)目、類別名；
3. 訓(xùn)練調(diào)優(yōu)：修改模型配置文件和訓(xùn)練文件后，進行訓(xùn)練，并根據(jù)訓(xùn)練結(jié)果調(diào)優(yōu)超參數(shù)。

轉(zhuǎn)換xml文件為yolov5格式的部分腳本：

for member in root.findall('object'):
           class_id = class_text.index(member[0].text)
           xmin = int(member[4][0].text)
           ymin = int(member[4][1].text)
           xmax = int(member[4][2].text)
           ymax = int(member[4][3].text)
           # round(x, 6) 這里我設(shè)置了6位有效數(shù)字，可根據(jù)實際情況更改
           center_x = round(((xmin + xmax) / 2.0) * scale / float(image.shape[1]), 6)
           center_y = round(((ymin + ymax) / 2.0) * scale / float(image.shape[0]), 6)
           box_w = round(float(xmax - xmin) * scale / float(image.shape[1]), 6)
           box_h = round(float(ymax - ymin) * scale / float(image.shape[0]), 6)
           file_txt.write(str(class_id))
           file_txt.write(' ')
           file_txt.write(str(center_x))
           file_txt.write(' ')
           file_txt.write(str(center_y))
           file_txt.write(' ')
           file_txt.write(str(box_w))
           file_txt.write(' ')
           file_txt.write(str(box_h))
           file_txt.write('\n')
       file_txt.close()

訓(xùn)練參數(shù)設(shè)置：

parser = argparse.ArgumentParser()
parser.add_argument('--weights', type=str, default='yolov5s.pt', help='initial weights path')
parser.add_argument('--cfg', type=str, default='./models/yolov5s.yaml', help='model.yaml path')
parser.add_argument('--data', type=str, default='data/custom.yaml', help='data.yaml path')
parser.add_argument('--hyp', type=str, default='data/hyp.scratch.yaml', help='hyperparameters path')
# parser.add_argument('--epochs', type=int, default=300)
parser.add_argument('--epochs', type=int, default=50)
# parser.add_argument('--batch-size', type=int, default=16, help='total batch size for all GPUs')
parser.add_argument('--batch-size', type=int, default=8, help='total batch size for all GPUs')
parser.add_argument('--img-size', nargs='+', type=int, default=[640, 640], help='[train, test] image sizes')
parser.add_argument('--rect', actinotallow='store_true', help='rectangular training')
parser.add_argument('--resume', nargs='?', cnotallow=True, default=False, help='resume most recent training')
parser.add_argument('--nosave', actinotallow='store_true', help='only save final checkpoint')
parser.add_argument('--notest', actinotallow='store_true', help='only test final epoch')
parser.add_argument('--noautoanchor', actinotallow='store_true', help='disable autoanchor check')
parser.add_argument('--evolve', actinotallow='store_true', help='evolve hyperparameters')
parser.add_argument('--bucket', type=str, default='', help='gsutil bucket')
parser.add_argument('--cache-images', actinotallow='store_true', help='cache images for faster training')
parser.add_argument('--image-weights', actinotallow='store_true', help='use weighted image selection for training')
parser.add_argument('--device', default='cpu', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')
parser.add_argument('--multi-scale', actinotallow='store_true', help='vary img-size +/- 50%%')
parser.add_argument('--single-cls', actinotallow='store_true', help='train multi-class data as single-class')
parser.add_argument('--adam', actinotallow='store_true', help='use torch.optim.Adam() optimizer')
parser.add_argument('--sync-bn', actinotallow='store_true', help='use SyncBatchNorm, only available in DDP mode')
parser.add_argument('--local_rank', type=int, default=-1, help='DDP parameter, do not modify')
parser.add_argument('--workers', type=int, default=8, help='maximum number of dataloader workers')
parser.add_argument('--project', default='runs/train', help='save to project/name')
parser.add_argument('--entity', default=None, help='W&B entity')
parser.add_argument('--name', default='exp', help='save to project/name')
parser.add_argument('--exist-ok', actinotallow='store_true', help='existing project/name ok, do not increment')
parser.add_argument('--quad', actinotallow='store_true', help='quad dataloader')
parser.add_argument('--linear-lr', actinotallow='store_true', help='linear LR')
parser.add_argument('--label-smoothing', type=float, default=0.0, help='Label smoothing epsilon')
parser.add_argument('--upload_dataset', actinotallow='store_true', help='Upload dataset as W&B artifact table')
parser.add_argument('--bbox_interval', type=int, default=-1, help='Set bounding-box image logging interval for W&B')
parser.add_argument('--save_period', type=int, default=-1, help='Log model after every "save_period" epoch')
parser.add_argument('--artifact_alias', type=str, default="latest", help='version of dataset artifact to be used')
opt = parser.parse_args()

3.4.4 目標(biāo)檢測模型的訓(xùn)練結(jié)果

模型基本在50次迭代的時候在precision和recall以及mAP上已經(jīng)達到了瓶頸。預(yù)測結(jié)果也有如下問題：大部分能夠是能夠準(zhǔn)確框出缺口，但也出現(xiàn)少量框錯、框出兩個缺口、框不出缺口的情況。

圖20. 上：模型的訓(xùn)練結(jié)果走勢圖；

下：模型對部分驗證集的預(yù)測結(jié)果

四、總結(jié)

本次簡單對爬蟲以及反爬蟲的技術(shù)手段進行了介紹，介紹的技術(shù)和案例均只是用于安全研究和學(xué)習(xí)，并不會進行大量爬蟲或者應(yīng)用于商業(yè)。

對于爬蟲，本著爬取網(wǎng)絡(luò)上公開數(shù)據(jù)用于數(shù)據(jù)分析等的目的，我們應(yīng)該遵守網(wǎng)站robots協(xié)議，本著不影響網(wǎng)站正常運行以及遵守法律的情況下進行數(shù)據(jù)爬?。粚τ诜磁老x，因為只要人類能夠正常訪問的網(wǎng)頁，爬蟲在具備同等資源的情況下就一定可以抓取到。所以反爬蟲的目的還是在于能夠防止爬蟲在大批量的采集網(wǎng)站信息的過程對服務(wù)器造成超負載，從而杜絕爬蟲行為妨礙到用戶的體驗，來提高用戶使用網(wǎng)站服務(wù)的滿意度。

網(wǎng)站標(biāo)題：爬蟲與反爬蟲技術(shù)簡介
文章起源：http://www.5511xx.com/article/cdjcjec.html