建站
咨詢
售后
建站咨詢
新聞中心
一、概述
成都創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于網(wǎng)站設(shè)計、網(wǎng)站制作、愛民網(wǎng)絡(luò)推廣、微信平臺小程序開發(fā)、愛民網(wǎng)絡(luò)營銷、愛民企業(yè)策劃、愛民品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們最大的嘉獎；成都創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供愛民建站搭建服務(wù)，24小時服務(wù)熱線：18982081108，官方網(wǎng)址：www.cdcxhl.com
網(wǎng)絡(luò)空間測繪的概念由白帽匯率先提出。在很長一段時間內(nèi)，國內(nèi)對于這個行業(yè)都不太關(guān)注。最近2年，尤其是去年，該行業(yè)得到了快速發(fā)展，各大網(wǎng)絡(luò)安全公司都開始布局。
雖然行業(yè)已經(jīng)發(fā)展了幾年，但在行業(yè)標(biāo)準(zhǔn)、資質(zhì)品類等方面，一直處于不成熟的階段。例如：至今廠商的相關(guān)產(chǎn)品在申請銷售許可證時都是向漏洞掃描器去掛靠的；由于是新興行業(yè)，一些非?；A(chǔ)的概念大家仍未能達成共識，在理解上產(chǎn)生了一些非常明顯的“偏差”。所以如果能得到更多關(guān)注，行業(yè)也一定能得到更加規(guī)范的發(fā)展。當(dāng)然，我們也一直希望能為行業(yè)進步，貢獻一份綿薄之力。
近期，中國網(wǎng)絡(luò)安全年會中發(fā)布了一份關(guān)于“網(wǎng)絡(luò)空間搜索引擎技術(shù)調(diào)研”（https://link.springer.com/chapter/10.1007/978-981-33-4922-3_15#Tab1）的報告。報告中對比、分析了幾個知名的網(wǎng)絡(luò)空間測繪平臺，可見網(wǎng)絡(luò)空間測繪這個網(wǎng)絡(luò)安全細分領(lǐng)域的技術(shù)，已經(jīng)贏得了來自有關(guān)權(quán)威部門的關(guān)注和認可，這對我們這些一直堅持在技術(shù)一線的團隊和公司來說，絕對是一件非常值得開心的事情。對于其中的一些說法和數(shù)據(jù)，我們認為存在一些問題，也有一些小小的建議和想法。在此，我們就“拋磚引玉”，和大家一起探討一下。
二、詳細描述
1、參考鏈接非權(quán)威來源，且缺少價值信息
圖1
上圖中，根據(jù)文章鏈接內(nèi)容3（https://www.zoomeye.org/doc?Thechannel=user#d-service），作者嘗試說明ZoomEye的用戶手冊中提到了協(xié)議來源于NMAP-Services的描述。點進頁面后卻發(fā)現(xiàn)并沒有任何內(nèi)容提到這一點，且連Nmap字樣都看不到。我們姑且認為是網(wǎng)站進行了改版，無法看到之前的信息，那么我們思考一個問題，我們可以宣稱參考了某個規(guī)范，它可以解讀為：a）我們實現(xiàn)了里面的部分協(xié)議；b）我們實現(xiàn)了里面的所有協(xié)議；官方未必有這個意思，而文章中顯然采信了第二種假設(shè)。于是我們做了一個很小的隨機抽樣測試，隨機選擇了NMAP-Services中的50個協(xié)議進行確認，ZoomEye只實現(xiàn)了其中的11種，這個證偽的過程是比較簡單的（具體測試方法，如果相關(guān)單位有興趣，可以聯(lián)系我們）。從另一個角度，如果以后各網(wǎng)絡(luò)空間測繪引擎在各自官網(wǎng)都寫上：我們的“協(xié)議參考了Nmap以及Wireshark”，這個領(lǐng)域?qū)Ρ仁遣皇蔷秃唵瘟耍?
文章參考鏈接的4（https://www.freebuf.com/articles/ics-articles/196647.html），是名稱為《2018年工業(yè)控制網(wǎng)絡(luò)安全態(tài)勢白皮書》的文章。調(diào)研報告中說Fofa的協(xié)議列表來源于此，但事實上引用的來源文章里面非但沒有提及Fofa。而且來源明確說了信息是“東北大學(xué)諦聽網(wǎng)絡(luò)安全團隊根據(jù)‘諦聽’網(wǎng)絡(luò)空間工控設(shè)備搜索引擎收集的各類安全數(shù)據(jù)”。此類情況出現(xiàn)在一篇嚴謹?shù)膶W(xué)術(shù)論文里面，可能不太合適。退一萬步說，2018年的分析肯定不能與現(xiàn)在的另外幾家去比較。很簡單的邏輯：僅工業(yè)控制協(xié)議，F(xiàn)ofa從2018年起都增加了十個以上。
基于上述分析，我們認為數(shù)據(jù)的參考是不可取的。如果由各平臺自行報送，并由權(quán)威部門進行匯總整理，以及做驗證確認，數(shù)據(jù)價值才會更高，并且不會有失偏頗和公平。因為參考了不一定實現(xiàn)了，實現(xiàn)了不一定準(zhǔn)確了，準(zhǔn)確了不一定全網(wǎng)數(shù)據(jù)采集全面了。對比就是為了區(qū)分不同平臺的優(yōu)劣勢，大家選擇發(fā)力方向不同，結(jié)果自然不同。
2、對比的核心維度概念模糊，存在不一致性
圖2
其中這一張圖比較有代表性。首先介紹一下在網(wǎng)絡(luò)空間測繪領(lǐng)域比較重要的幾個基本數(shù)據(jù)的統(tǒng)計維度：
1）網(wǎng)絡(luò)資產(chǎn)數(shù)：
通俗一點就是數(shù)據(jù)記錄條數(shù)，技術(shù)上說就是用什么作為存儲的key值。不同的平臺實現(xiàn)的機制并不一致，例如：Shodan是按照ip:port存儲，F(xiàn)ofa和ZoomEye是按照host:port存儲，360的Quake平臺是根據(jù)ip:port:date存儲。因為Shodan選擇的是只針對IP層面進行分析，所以他們直接放棄了主機域名的分析。一個IP可以對應(yīng)任意多個域名，所以說Shodan做針對某個企業(yè)的互聯(lián)網(wǎng)暴露面梳理效果比較差。其他平臺都采用了網(wǎng)站域名的方式，數(shù)據(jù)量差別比較大，目前Fofa的主機域名數(shù)暫時來說還是有一些優(yōu)勢的。基于host:port的方式會存儲兩個數(shù)據(jù)存儲：一個叫熱數(shù)據(jù)，比如昨天發(fā)現(xiàn)了1.1.1.1:80，今天又發(fā)現(xiàn)了，在你熱數(shù)據(jù)中會發(fā)生覆蓋，只會有一條最新的；另一個叫冷數(shù)據(jù)或者叫歷史數(shù)據(jù)，大家按名字理解就好。Quake平臺稍微特殊，由于加入了date作為key，會導(dǎo)致一個IP的同一個端口，可以查詢出來多條數(shù)據(jù)。
2）獨立IP數(shù)：
基于上面的說法，大家就知道，記錄數(shù)不代表IP數(shù)，一個IP開了多個端口，就對應(yīng)多條記錄。大家通常對IP比較容易理解，所以Fofa在搜索的時候會明確告知聚合后的IP總數(shù)有多少。在Shodan直接查詢一個端口，例如：port:80，以此搜索出來的統(tǒng)計數(shù)據(jù)就是準(zhǔn)確的IP個數(shù)，其他平臺大家可以自行分析方法。在硬件（物聯(lián)網(wǎng)或者服務(wù)器）領(lǐng)域，IP和硬件是一一對應(yīng)的，但在軟件應(yīng)用領(lǐng)域，一個IP可以承載任意多個應(yīng)用，這也就是我們俗稱的攻擊點。
3）指紋規(guī)則數(shù)：
一條指紋規(guī)則簡單來說就是能夠用于識別某一類設(shè)備或者軟件的查詢語句。這是Fofa最先提出的，早期各平臺都內(nèi)嵌了一些簡單的設(shè)備識別庫，并未提供html等大文本的關(guān)鍵字檢索，所以用戶無法自定義規(guī)則和保存。Fofa一開始的設(shè)計理念就是用戶更懂場景，所以放開了這種方法，讓用戶來自定義識別的語法，然后可以保存下來方便后續(xù)使用。最初我們叫應(yīng)用規(guī)則庫，后來慢慢叫法各異，有叫指紋庫的、有叫規(guī)則集的，還有叫軟硬件識別庫的。一條指紋可以對應(yīng)任意多條設(shè)備。目前論指紋規(guī)則庫，F(xiàn)ofa在數(shù)量上還是有一點點優(yōu)勢的。
4）特定規(guī)則集匹配的網(wǎng)絡(luò)資產(chǎn)數(shù)：
如上所述，一個規(guī)則查詢的結(jié)果其實就是匹配的網(wǎng)絡(luò)資產(chǎn)數(shù)，所有指紋規(guī)則庫匹配的網(wǎng)絡(luò)資產(chǎn)數(shù)基本就是全庫了。
圖3
如果上面說的還是難以理解，現(xiàn)在通過上圖這個簡單的示例來說明：我們嘗試搜索互聯(lián)網(wǎng)中開放的Apache網(wǎng)站服務(wù)器數(shù)量，我們可以在Fofa中檢索app="APACHE-Web-Server"，這時返回的11682萬代表了互聯(lián)網(wǎng)中存在的所有使用了這個服務(wù)器的資產(chǎn)數(shù)，其中網(wǎng)站和協(xié)議是可以有重合的，分別對應(yīng)7446萬和4235萬，因為一個80端口在協(xié)議中是存在的，但是它可能會綁定多個域名。獨立IP只有2918萬，是因為一個IP的apache服務(wù)器可以綁定到多個端口。
回到圖2來看，就是一個非常有意思的結(jié)果了：Shodan對應(yīng)4億，ZoomEye對應(yīng)11億，F(xiàn)ofa對應(yīng)27萬。我們相信每一條數(shù)據(jù)作者都是經(jīng)過思考和挑選的，只是沒能梳理清楚，到底是全網(wǎng)的網(wǎng)絡(luò)資產(chǎn)數(shù)、獨立IP數(shù)、指紋規(guī)則庫的數(shù)量、抑或特定規(guī)則集匹配的網(wǎng)絡(luò)資產(chǎn)數(shù)，甚至是可能沒有分清是熱數(shù)據(jù)還是包含了歷史數(shù)據(jù)？如果不在一個維度來對比，也就沒有太大的參考價值了。
另外，值得強調(diào)的是，哪怕是在一個維度進行對比，單純的對比數(shù)據(jù)也存在很大的誤導(dǎo)性，比如Shodan只拿出一個月的數(shù)據(jù)作為熱數(shù)據(jù)，老的數(shù)據(jù)并未展示（沒覆蓋的也不顯示），而ZoomEye則是把歷史數(shù)據(jù)都展示出來，所以實際上很難統(tǒng)計出一個公允的結(jié)果。在對比時，我們要考慮一定時間內(nèi)數(shù)據(jù)的獲取能力（注意必須要考慮一定時間內(nèi)），要考慮數(shù)據(jù)的深入性和準(zhǔn)確性（比如協(xié)議或者規(guī)則）。如果沒有這些，就必然出現(xiàn)各大平臺玩起了刷數(shù)據(jù)的游戲，樂此不疲。如果Shodan隱藏實力，我們向它學(xué)習(xí)還是有意義的。
3、數(shù)據(jù)抽樣測試參考標(biāo)準(zhǔn)存在差異，直接影響了結(jié)果
這里必須幫ZoomEye說一句話：如果作為互聯(lián)網(wǎng)使用量最大的HTTP協(xié)議一輪掃描需要超過一年時間，基本上這個平臺就廢了，ZoomEye不至于這么不濟。Shodan的周期稍微有些偏差，ZoomEye和Fofa的時間則是存在很大的問題。這幾個協(xié)議是互聯(lián)網(wǎng)使用最多的，數(shù)量大變化快，能夠很好的用于實戰(zhàn)體系中，所以各家都比較重視，不會存在不抓取的情況。
在圖中出現(xiàn)了“-”說明沒有掃描數(shù)據(jù)，而Shodan和Censys有，我們大膽地推測拿出來的對比測試的IP是以Shodan或者Censys為主的（這?點只是推測）。由于網(wǎng)絡(luò)變化太快，一個IP端口上線后快速下線，所以哪怕在一天一次這種極速輪詢過程中，一定會出現(xiàn)一些IP剛好只被一個平臺抓到，在其他平臺都沒有抓取到。舉個反例，比如24.232.7.242這個IP，大家到各平臺搜索一下，你會發(fā)現(xiàn)這個IP對應(yīng)的23端口只存在于Fofa平臺，這僅僅能證明那一天剛好被Fofa抓到了，其他平臺到它那去的時候23端口已經(jīng)關(guān)閉，但由此一定證明不了Shodan或者Censys的掃描頻率是“-”。
實際運營過程中，大家會把不同的端口進行分組，一個端口可以存在不同的掃描集群中，比如一個大端口（覆蓋大量IP的端口）可能同時并行的存在不同的端口組策略中，并行地進行掃描。又由于大網(wǎng)的端口掃描一定是隨機IP的，也一定存在網(wǎng)絡(luò)抖動的，所以依靠一次完成95%的數(shù)據(jù)相似度根本就不可能。大家會進行不斷的輪詢掃描，盡可能覆蓋最新上線的資產(chǎn)。那種嘗試用Nmap實現(xiàn)端口掃描和協(xié)議識別的網(wǎng)絡(luò)空間測繪技術(shù)， 暫時打一個問號，宣稱即快又全又準(zhǔn)的，內(nèi)網(wǎng)可以，全網(wǎng)掃描很難。
4、其他一些細節(jié)點
1）協(xié)議分類和設(shè)備分類是否為同一個概念？
2）Domain database這一項提到了只分析了top 100萬Alexa排名域名的Censys，沒有提域名存量最多的Fofa？
3） 探針分布的分析維度？
這些細枝末節(jié)倒也無關(guān)痛癢，只是大家對權(quán)威論文的理解是：分析方法應(yīng)該經(jīng)得起公示、經(jīng)得起挑戰(zhàn)，如果存在諸多不明確，很容易產(chǎn)生分歧、引起誤會。
三、總結(jié)
Shodan是第一個開拓者，大家或多或少會受其影響，站在老師傅的肩膀上前行。今天老師傅還是老師傅，無論是從基礎(chǔ)的投入、數(shù)據(jù)的嚴謹性，還是歷史存量數(shù)據(jù)的積累和功能的豐富程度等等，國內(nèi)的平臺暫時都還難以與其并行。不過，我們當(dāng)然也存在彎道超車的可能，我們也看到了很多機會，只是在當(dāng)下，任何一家公司單方面宣布是世界第一，還是欠妥。一個讓我們值得深思的問題：論實戰(zhàn)化的能力，如果真的需要對攻對防，我們這些儲備真的夠嗎？
我們要關(guān)注各種數(shù)據(jù)的對比，根據(jù)我們這些年對網(wǎng)絡(luò)空間測繪的理解，網(wǎng)絡(luò)空間測繪的技術(shù)對比維度，應(yīng)該聚焦于實戰(zhàn)，應(yīng)當(dāng)包含如下一些點：
1. 資產(chǎn)總量（歷史存續(xù)數(shù)據(jù)、域名數(shù)據(jù)等）
2. 支持的端口和協(xié)議
3. 搜索和展示字段數(shù)
4. 數(shù)據(jù)更新速度（每周、每月）
5. 數(shù)據(jù)準(zhǔn)確度(協(xié)議、規(guī)則等)
6. 協(xié)議解析深入度
7. 產(chǎn)品規(guī)則數(shù)
8. 活躍用戶規(guī)模
為了滿足實戰(zhàn)化，以及持續(xù)性的常態(tài)實戰(zhàn)化。我們呼吁相關(guān)部門能夠針對網(wǎng)絡(luò)空間測繪這一個細分領(lǐng)域給予指導(dǎo)，出臺相關(guān)的技術(shù)標(biāo)準(zhǔn)和規(guī)范。標(biāo)準(zhǔn)化一些概念和名稱，規(guī)范化搜索關(guān)鍵字和語法，統(tǒng)一化數(shù)據(jù)的存儲格式，歸一化資產(chǎn)的分類和分層。進而制定出對應(yīng)的技術(shù)評判標(biāo)準(zhǔn)，最終引導(dǎo)行業(yè)步入健康有序的發(fā)展，為國家創(chuàng)造更多更好的技術(shù)輸出。
分享名稱：呼吁相關(guān)部門出臺關(guān)于網(wǎng)絡(luò)空間測繪的技術(shù)標(biāo)準(zhǔn)
文章位置：http://www.5511xx.com/article/dhicghs.html
