日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關咨詢
選擇下列產(chǎn)品馬上在線溝通
服務時間：8:30-17:00
你可能遇到了下面的問題
關閉右側工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
Python爬取房產(chǎn)數(shù)據(jù)，在地圖上展現(xiàn)！

小伙伴，我又來了，這次我們寫的是用python爬蟲爬取烏魯木齊的房產(chǎn)數(shù)據(jù)并展示在地圖上，地圖工具我用的是 BDP個人版-免費在線數(shù)據(jù)分析軟件，數(shù)據(jù)可視化軟件 ，這個可以導入csv或者excel數(shù)據(jù)。

創(chuàng)新互聯(lián)公司是專業(yè)的松原網(wǎng)站建設公司，松原接單;提供成都網(wǎng)站設計、成都網(wǎng)站制作、外貿(mào)網(wǎng)站建設,網(wǎng)頁設計,網(wǎng)站設計,建網(wǎng)站,PHP網(wǎng)站建設等專業(yè)做網(wǎng)站服務;采用PHP框架,可快速的進行松原網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團隊,希望更多企業(yè)前來合作!

  • 首先還是分析思路，爬取網(wǎng)站數(shù)據(jù)，獲取小區(qū)名稱，地址，價格，經(jīng)緯度，保存在excel里。再把excel數(shù)據(jù)上傳到BDP網(wǎng)站，生成地圖報表

本次我使用的是scrapy框架，可能有點大材小用了，主要是剛學完用這個練練手，再寫代碼前我還是建議大家先分析網(wǎng)站，分析好數(shù)據(jù)，再去動手寫代碼，因為好的分析可以事半功倍，烏魯木齊樓盤,2017烏魯木齊新樓盤,烏魯木齊樓盤信息 - 烏魯木齊吉屋網(wǎng) 這個網(wǎng)站的數(shù)據(jù)比較全，每一頁獲取房產(chǎn)的LIST信息，并且翻頁，點進去是詳情頁，獲取房產(chǎn)的詳細信息(包含名稱，地址，房價，經(jīng)緯度)，再用pipelines保存item到excel里，最后在bdp生成地圖報表，廢話不多說上代碼：

JiwuspiderSpider.py

 
 
 
 
    
  
  
  
  
  1. # -*- coding: utf-8 -*- 
    2.   
  
  
  
  2. from scrapy import Spider,Request 
    3.   
  
  
  
  3. import re 
    4.   
  
  
  
  4. from jiwu.items import JiwuItem 
    5.   
  
  
  
  5.  
    6.   
  
  
  
  6.  
    7.   
  
  
  
  7. class JiwuspiderSpider(Spider): 
    8.   
  
  
  
  8.     name = "jiwuspider" 
    9.   
  
  
  
  9.     allowed_domains = ["wlmq.jiwu.com"] 
    10.   
  
  
  
  10.     start_urls = ['http://wlmq.jiwu.com/loupan'] 
    11.   
  
  
  
  11.  
    12.   
  
  
  
  12.     def parse(self, response): 
    13.   
  
  
  
  13.         """ 
    14.   
  
  
  
  14.         解析每一頁房屋的list 
    15.   
  
  
  
  15.         :param response:  
    16.   
  
  
  
  16.         :return:  
    17.   
  
  
  
  17.         """ 
    18.   
  
  
  
  18.         for url in response.xpath('//a[@class="index_scale"]/@href').extract(): 
    19.   
  
  
  
  19.             yield Request(url,self.parse_html)  # 取list集合中的url  調(diào)用詳情解析方法 
    20.   
  
  
  
  20.  
    21.   
  
  
  
  21.         # 如果下一頁屬性還存在，則把下一頁的url獲取出來 
    22.   
  
  
  
  22.         nextpage = response.xpath('//a[@class="tg-rownum-next index-icon"]/@href').extract_first() 
    23.   
  
  
  
  23.         #判斷是否為空 
    24.   
  
  
  
  24.         if nextpage: 
    25.   
  
  
  
  25.             yield Request(nextpage,self.parse)  #回調(diào)自己繼續(xù)解析 
    26.   
  
  
  
  26.  
    27.   
  
  
  
  27.  
    28.   
  
  
  
  28.  
    29.   
  
  
  
  29.     def parse_html(self,response): 
    30.   
  
  
  
  30.         """ 
    31.   
  
  
  
  31.         解析每一個房產(chǎn)信息的詳情頁面，生成item 
    32.   
  
  
  
  32.         :param response:  
    33.   
  
  
  
  33.         :return:  
    34.   
  
  
  
  34.         """ 
    35.   
  
  
  
  35.         pattern = re.compile('