建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
你天天爬價(jià)，你咋不上天
我有特價(jià)票，你有故事嗎
我要一步一步往上爬
??
??
一、寒冬來(lái)臨
1. 票代野蠻生長(zhǎng)的年代
改革開(kāi)放之初，坐飛機(jī)對(duì)于普通老百姓還是個(gè)稀罕事，乘坐飛機(jī)出行的人實(shí)在太少,提高航班的乘坐人數(shù)是當(dāng)時(shí)航空公司的主要目標(biāo)。
除了優(yōu)惠活動(dòng)外，還出臺(tái)了各種代理鼓勵(lì)機(jī)制。比如 2002 年左右機(jī)票代理商享受“3+X”%的票代利潤(rùn)模式。據(jù)業(yè)內(nèi)人士回憶，那時(shí)各大航空公司為爭(zhēng)奪旅客，競(jìng)相給予代理企業(yè)遠(yuǎn)超出官方規(guī)定的手續(xù)費(fèi)，“X”的部分最高可達(dá)到 17% 以上。除此以外，航空公司還動(dòng)輒發(fā)放動(dòng)態(tài)獎(jiǎng)勵(lì)、年終大獎(jiǎng)等來(lái)激勵(lì)票代 。
2. 是什么導(dǎo)致了3-2-1-0%
趨之若鶩必將帶來(lái)泰極生否。網(wǎng)上票代的興起，在為用戶(hù)出行提供出行便利的同時(shí)，也催生了灰產(chǎn)、黑產(chǎn)的泛濫。無(wú)資質(zhì)票代借機(jī)渾水摸魚(yú)牟取非法利潤(rùn)，有資質(zhì)票代不惜鋌而走險(xiǎn)觸動(dòng)“紅線(xiàn)”，視消費(fèi)者的利益為魚(yú)肉。
各航司非常敏銳的洞察到了票代中的違規(guī)現(xiàn)象，馬克思說(shuō)過(guò)，“人們的奮斗所爭(zhēng)取的一切,都同他們的利益有關(guān)?！苯忖忂€須系鈴人。于是，在 2014 年的各航司紛紛做同一件事情：降傭、禁廢。
國(guó)航自 2015 年 3 月 1 日(銷(xiāo)售日期)起，境內(nèi)代理人銷(xiāo)售的 BSP / B2B 國(guó)際、國(guó)內(nèi)客票不允許作廢，客票的改期、升艙、退票按照客票使用條件辦理，這將大大增加機(jī)票代理商的退票成本。
??
??
??
??
3. 明日黃花
如今的航司其實(shí)早已把“提直降代”列入了重中之重，在這樣的一種訴求下，2016 年 2 月 4 日，國(guó)資委“將直銷(xiāo)比例提高至 50% ”、 “代理費(fèi)要在 2014 年的基礎(chǔ)上下降 50% ”等通知對(duì)于航司就如同甘露一般。
其實(shí)，對(duì)機(jī)票行業(yè)里面灰產(chǎn)黑產(chǎn)現(xiàn)象，OTA 也深?lèi)和唇^。例如 2016 年“九航企封殺去哪兒”、“李淼投訴假機(jī)票”兩個(gè)事件，違規(guī)操作對(duì)企業(yè)形象造成了巨大的負(fù)面影響。
因此，攜程在 2016 年發(fā)布了一份《關(guān)于航班銷(xiāo)售重要通知》，宣布暫停供應(yīng)商(即機(jī)票代理商)銷(xiāo)售 2016 年 9 月 1 日之后的指定航空公司的國(guó)內(nèi)客票，這些航空公司包括了中國(guó)四大航。隨后，大量代理人已經(jīng)開(kāi)始退出機(jī)票銷(xiāo)售市場(chǎng)。
??
??
4. 前返→暗扣→傭金→后返→……
至此，航空公司重新控制銷(xiāo)售渠道，機(jī)票代理已走向沒(méi)落。
從 2002 年開(kāi)始票代的黃金時(shí)期漸漸成為過(guò)去。之前拿著“暗扣”就很滋潤(rùn)的票代們，被航司嚴(yán)格管控，如今只能靠越來(lái)越少的傭金維持。今年，本來(lái)以為“后返”也是一個(gè)出路的票代們，又遭受重創(chuàng)，不得不主動(dòng)探索新的出路了。
??
??
二、為何航司網(wǎng)站爬蟲(chóng)逐年呈現(xiàn)上升趨勢(shì)
遭遇了幾次的重創(chuàng)，傳統(tǒng)票代行業(yè)必將逐漸冷卻。但是對(duì)于曾經(jīng)和機(jī)票打交道的人們，長(zhǎng)期打造的戰(zhàn)場(chǎng)就放棄的如此甘心情愿嗎?
繼續(xù)深挖傭金的方式獲取利益已然行不通了，那么還有哪些環(huán)節(jié)是有機(jī)可乘的呢?
1. 劇增的棄程現(xiàn)象
某報(bào)在采訪(fǎng)國(guó)航客運(yùn)營(yíng)銷(xiāo)部發(fā)現(xiàn)了如下現(xiàn)象：
國(guó)航座控中心的工作人員指著電腦屏幕，一張由北京飛往哈爾濱的某航班機(jī)票，上面旅客姓名、機(jī)票號(hào)、聯(lián)系電話(huà)等均填寫(xiě)得清楚明白，但機(jī)票號(hào)前三位不是國(guó)航的代碼，也不是國(guó)內(nèi)任何一家航空公司的。顯然這個(gè)“乘客”根本不存在，內(nèi)容都是瞎編的。
四川航空公司成都售票處主任說(shuō)：虛占座位，越是旺季，越是緊俏的航班，被虛占的座位相對(duì)就多，如果被虛占的座位最后沒(méi)賣(mài)掉，航空公司也沒(méi)發(fā)現(xiàn)，那么這個(gè)座位肯定就是浪費(fèi)了。
2. 結(jié)合技術(shù)手段的虛占
世間沒(méi)有無(wú)緣無(wú)故的愛(ài)與恨。
沒(méi)有了傭金，代理人或者機(jī)票從業(yè)者天天琢磨著新的可持續(xù)發(fā)展的利益獲取渠道。終于，新點(diǎn)子有了：虛占座位。
??
??
他們大量搶占：①長(zhǎng)期熱門(mén)線(xiàn)路的各艙位;②座位數(shù)很少的艙位;③特價(jià)艙位;④黃金時(shí)期(如黃金周)的各艙位。
目的：利用因時(shí)間推移造成的艙位價(jià)格變化獲利、或通過(guò)自己的平臺(tái)自主加價(jià)轉(zhuǎn)售。
虛占座位從機(jī)票代理這個(gè)詞出現(xiàn)就有了，因?yàn)樵缙谑菫榱舜_保一些團(tuán)隊(duì)的機(jī)票冗余，當(dāng)時(shí)現(xiàn)象也并不是很多;但現(xiàn)如今主要目標(biāo)是為了囤積后伺機(jī)出售實(shí)現(xiàn)利益最大化——現(xiàn)象相同，但是體量和目的卻完全不同。
這些大量的操作靠人工已經(jīng)無(wú)法滿(mǎn)足需求了，因?yàn)橐环N網(wǎng)絡(luò)爬蟲(chóng)技術(shù)對(duì)于虛占座位的人群們來(lái)說(shuō)如獲至寶，因?yàn)榕老x(chóng)可替代 95% 的人工操作。
3. 倍受青睞的爬蟲(chóng)
要通過(guò)虛占來(lái)取得利益，至少要知道這些目標(biāo)機(jī)票在哪?何時(shí)出現(xiàn)?最晚支付時(shí)間是?壓位后的機(jī)票確保不會(huì)被收回?處理這些問(wèn)題，大致需要如下流程：
1)充分的利用各種爬蟲(chóng)工具
??
??
2)大量下訂單，規(guī)定時(shí)間內(nèi)(各航線(xiàn)不同)不支付，并把搶占的艙位放到 OTA 、機(jī)票 B2B 上出售;
3)規(guī)定時(shí)間內(nèi)賣(mài)不出去，在被取消訂單前，訂單失效前馬上再去追一個(gè)訂單，繼續(xù)把位置占住;
4)如果出售成功，就可以把原來(lái)占位的機(jī)票取消掉，再用客戶(hù)的身份信息訂票并出票。
雖然從虛占到變現(xiàn)過(guò)程不復(fù)雜，但是要形成暴利，就需要來(lái)回如上過(guò)程無(wú)數(shù)次。這種批量操作需要大量的交互窗口和大量追位工具操作，人力物力隨之上去了，最后搞不好賠本賺吆喝。
怎么辦?好在，人人都是“產(chǎn)品”經(jīng)理。他們有高級(jí)自動(dòng)化的工具，專(zhuān)門(mén)針對(duì)壓位、追位。
??
??
這是我們?cè)诰W(wǎng)上發(fā)現(xiàn)的針對(duì)某家航空公司的自動(dòng)爬蟲(chóng)工具， 它實(shí)現(xiàn)了：
- 多個(gè)線(xiàn)程自動(dòng)登錄
- 實(shí)時(shí)獲取特價(jià)機(jī)票信息
- 匹配后自動(dòng)下單
- 熱門(mén)、特價(jià)機(jī)票跟蹤
其實(shí)航司風(fēng)控技術(shù)部門(mén)的很快就會(huì)捕捉到使用工具的人們，他們的特征是： IP 來(lái)源單一，頻次過(guò)高，爬蟲(chóng)即可被識(shí)破并且被禁止掉。
所謂道高一尺魔高一丈，只要有一絲絲希望，“產(chǎn)品”經(jīng)理就不會(huì)放棄：他們充分的利用各種資源，比如利用購(gòu)買(mǎi)或者租用的云機(jī)房、IDC 中的 IP 資源，甚至?xí)脑炝寺酚善鳎I(mǎi)家購(gòu)置家中后，便直接轉(zhuǎn)化成了為他們服務(wù)的爬蟲(chóng)種子。
其目的：將單一 IP 的訪(fǎng)問(wèn)動(dòng)作稀釋到成千上萬(wàn)的 IP 中去。
豈安風(fēng)險(xiǎn)情報(bào)專(zhuān)家笑天分析了 2016 年某三個(gè)月的爬蟲(chóng)來(lái)源分布圖，也證明這一點(diǎn)，他們分布的十分廣泛，調(diào)用順序也毫無(wú)規(guī)律可循。
綜上所述，對(duì)于一個(gè)完整的風(fēng)控體系而言，僅通過(guò)訪(fǎng)問(wèn)頻率、Useragent 觀(guān)測(cè)角度肯定不是最全面的的風(fēng)控維度。
三、抽絲剝繭看爬蟲(chóng)
爬蟲(chóng)繞開(kāi)技術(shù)層出不窮，防爬蟲(chóng)的技術(shù)也日新月異，風(fēng)險(xiǎn)黑名單可能是大多風(fēng)控部門(mén)采用的方式，這種存在一定局限性，從行為軌跡和用戶(hù)畫(huà)像角度出發(fā)一定是風(fēng)控的大趨勢(shì)。
針對(duì)航司的爬蟲(chóng)，需求表明目前最迫切的是防止黑代理將IP分散到世界各地繞開(kāi)訪(fǎng)問(wèn)頻率的監(jiān)控，我們必須增加更多途徑實(shí)時(shí)訪(fǎng)問(wèn)流量中獲得更多有價(jià)值信息。(前提：一定不允許在 APP 、Web 中增加代碼，大型企業(yè)對(duì)這些非?？粗?。
1. 訪(fǎng)問(wèn)元素豐富度
普通用戶(hù)在打開(kāi)網(wǎng)頁(yè)時(shí)會(huì)有比較豐富的地址訪(fǎng)問(wèn)，而自動(dòng)爬蟲(chóng)通常只有少數(shù)固定的頁(yè)面訪(fǎng)問(wèn)，比如航司活動(dòng)專(zhuān)版、艙位價(jià)格頁(yè)面、航線(xiàn)動(dòng)態(tài)等。
??
??
2. 訪(fǎng)問(wèn)軌跡連貫性
用戶(hù)在進(jìn)行頁(yè)面訪(fǎng)問(wèn)時(shí)，通常是有一個(gè)合理的訪(fǎng)問(wèn)軌跡，如從首頁(yè)跳轉(zhuǎn)到機(jī)票搜索，但爬蟲(chóng)在自動(dòng)獲取數(shù)據(jù)時(shí)，往往是對(duì)頁(yè)面地址進(jìn)行逐個(gè)訪(fǎng)問(wèn)，沒(méi)有連貫的軌跡。比如首次訪(fǎng)問(wèn)就是登錄頁(yè)面，正常應(yīng)該從搜索或者廣告頁(yè)跳轉(zhuǎn)而來(lái)。
??
??
3. 訪(fǎng)問(wèn)靜態(tài)資源比例
爬蟲(chóng)獲取數(shù)據(jù)時(shí)往往只關(guān)心具體的文字內(nèi)容和數(shù)據(jù)，但不會(huì)查看圖片以及加載頁(yè)面上的 CSS 或者 JS 信息，這就為風(fēng)控平臺(tái)提供了一個(gè)較為顯著的判斷因素，這一點(diǎn)不用多加解釋。
4. Click 間隔時(shí)間
爬蟲(chóng)在獲取頁(yè)面信息時(shí)，會(huì)出現(xiàn)連續(xù)兩個(gè) Click 間隔時(shí)間過(guò)短，不匹配合理的人肉點(diǎn)擊間隔時(shí)間，這就是典型的區(qū)別人機(jī)判斷機(jī)制。
??
??
篇幅有限，僅僅列出以上這些在航司常出現(xiàn)的風(fēng)險(xiǎn)特征。
小結(jié)
一入票代深似海，從此節(jié)操是路人。
對(duì)于各航空公司，爬蟲(chóng)僅僅是一個(gè)風(fēng)險(xiǎn)的開(kāi)始。豈安實(shí)驗(yàn)室的安全專(zhuān)家 James 和 Bogomil 通過(guò)調(diào)研，得出在航司還存在著信息泄露、短信轟炸、虛假注冊(cè)、羊毛黨、掃號(hào)撞庫(kù)、密碼找回等諸多風(fēng)險(xiǎn)問(wèn)題。
針對(duì)航司的行業(yè)特點(diǎn)，豈安科技開(kāi)發(fā)了 Warden(看門(mén)者)產(chǎn)品，通過(guò)大數(shù)據(jù)分析、風(fēng)控專(zhuān)家梳理，研制開(kāi)發(fā)了航旅版業(yè)務(wù)風(fēng)險(xiǎn)決策系統(tǒng)，已陸續(xù)在各大航司、OTA 中交付使用，并得到了非常好的反饋。
【本文是專(zhuān)欄機(jī)構(gòu)“豈安科技”的原創(chuàng)文章，轉(zhuǎn)載請(qǐng)通過(guò)微信公眾號(hào)(bigsec)聯(lián)系原作者】
??
??
??戳這里，看該作者更多好文??
分享題目：航空公司與爬蟲(chóng)的戰(zhàn)爭(zhēng)：特價(jià)票的真相與內(nèi)幕
文章地址：http://www.5511xx.com/article/ccohojp.html
