建站
咨詢
售后
建站咨詢
新聞中心
隨后Googlebot就能夠看到HTML source code并根此生成DOM tree;之后再使用JavaScript engine去render DOM tree并渲染整個web page;
一、百度搜索引擎是怎么抓取頁面的？
1. 百度搜索引擎采用了“蜘蛛”(Spider)的方法來實現(xiàn)對Web頁面的自動化采集。
目前成都創(chuàng)新互聯(lián)已為上千多家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)絡(luò)空間、網(wǎng)站托管維護、企業(yè)網(wǎng)站設(shè)計、囊謙網(wǎng)站維護等服務(wù)，公司將堅持客戶導向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。
2. 這個過程就是所謂的“機器人”或者說“機器人行為”，即通過特定的代理服務(wù)器向目標站發(fā)出HTTP請求，以便從中得到想要信息。
3. 當然，在此之前必須先解決如何找到目標站上存在的新聞、圖片、文件或其它信息。
4. 針對這一問題，網(wǎng)站會通過不同方式將URL告訴Googlebot, 比如XML Sitemap, Robots.txt, Link Element in HTML Headers 等。
5. Googlebot會根據(jù)Robots Exclusion Protocol (REP)去遵循并根據(jù)Sitemaps XML文件中聲明好的URLs去釋出Crawl Request來釋出Crawl Request來釋出Crawl Request來處理整個流程。
6. 具體而言，當Googlebot發(fā)送HTTP request時，web server會將HTML response作為response body回復(fù)Googlebot;隨后Googlebot就能夠看到HTML source code并根此生成DOM tree;之后再使用JavaScript engine去render DOM tree并渲染整個web page;最后Googlebot就能看到final rendered web page了。
7. 有時候也會針對AJAX requests發(fā)送POST request去fetch dynamic content;考慮到大部分AJAX requests都是GET request, Google bot也會針對GET AJAX requests發(fā)送request去fetch dynamic content;
8 . 另外一方面，當Google bot遵循link element in HTML headers時( ) ；google bot也能夠follow link elements and fetch the next pages of a paginated series of webpages or blog posts etc.;9 . 最后要注意的是: Google Bot不會馬上indexing fetched URLs , 還要考視crawled URL's relevance to user query before indexing it into its search results database ;
10 . 此外 , 由于 google bot 高度依賴 robots exclusion protocol ( REP ) , 所以 website owners 必須在 robots txt file 配置好 google bots 的 crawling rules ；
二、總體來說：
1 . 由于google bot 高度依賴robots exclusion protocol (REP), website owners必須在robots txt file中正確地聲明google bots crawling rules ; 2 . google bot使用spider technology 根???urls list from sitemaps xml files & link elements in html headers to crawl target websites ; 3 . google bots send http requests to target sites & receive html responses as response bodies ; 4 . after that , they generate dom trees by looking at html source codes & render them with javascript engines so as to get final rendered web pages ; 5 . sometimes they also send post/get ajax requests for dynamic contents if necessary ; 6 . finally , they will assess crawled url's relevance to user queries before indexing them into their search results databases
以上就是關(guān)于百度搜索引擎是怎么抓去頁面的?的相關(guān)知識，如果對你產(chǎn)生了幫助就關(guān)注網(wǎng)址吧。
本文標題：百度搜索引擎是怎么抓去頁面的?
鏈接URL：http://www.5511xx.com/article/cdpipdj.html
