日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間：8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷解決方案
Python分析新浪微博各種表情使用頻率

用新浪微博API積累了微博廣場(chǎng)的1.4萬條數(shù)據(jù)，我選擇了21個(gè)字段輸出為TXT文件，想用Python稍微處理一下，統(tǒng)計(jì)一下這1.4萬條微博里面表情使用情況，統(tǒng)計(jì)結(jié)構(gòu)在***。

創(chuàng)新互聯(lián)專注于青浦企業(yè)網(wǎng)站建設(shè),響應(yīng)式網(wǎng)站設(shè)計(jì),商城系統(tǒng)網(wǎng)站開發(fā)。青浦網(wǎng)站建設(shè)公司,為青浦等地區(qū)提供建站服務(wù)。全流程按需求定制制作，專業(yè)設(shè)計(jì)，全程項(xiàng)目跟蹤，創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務(wù)

無聊的時(shí)候用了下新浪JAVA版的API，對(duì)JAVA還不熟悉，但是稍微改一下還是沒問題的，數(shù)據(jù)保存為TXT文件，再用Python處理，JAVA部分很簡(jiǎn)單，Python部分只涉及到表情的正則提取，都不好意思寫出來了。

1、調(diào)用新浪JAVA API下載微博廣場(chǎng)數(shù)據(jù)

步驟思路：

初始化API的Weibo類，設(shè)置Token后，設(shè)置下載間隔，然后重復(fù)調(diào)用getPublicTimeline()函數(shù)就可以了，下面是主要類的代碼：

這個(gè)不是完整的代碼，沒有初始化暫停間隔，可以掠過，很簡(jiǎn)單。

 
 
 
 
    
  
  
  
  
  1. class WriteWeiboData{  
    2. 
  
  
  
  
  2.      private int n;  
    3. 
  
  
  
  
  3.      public WriteWeiboData(int count)  
    4. 
  
  
  
  
  4.      {  
    5. 
  
  
  
  
  5.          this.n=count;  
    6. 
  
  
  
  
  6.      }  
    7. 
  
  
  
  
  7.      public void Start(){  
    8. 
  
  
  
  
  8.          System.setProperty("weibo4j.oauth.consumerKey", Weibo.CONSUMER_KEY);  
    9. 
  
  
  
  
  9.          System.setProperty("weibo4j.oauth.consumerSecret", Weibo.CONSUMER_SECRET);  
    10. 
  
  
  
  
  10.          try {  
    11. 
  
  
  
  
  11.              //獲取前20條***更新的公共微博消息  
    12. 
  
  
  
  
  12.              Weibo weibo = new Weibo();  
    13. 
  
  
  
  
  13.              //weibo.setToken(args[0],args[1]);  
    14. 
  
  
  
  
  14.              weibo.setToken("keystring", "keyscrect");  
    15. 
  
  
  
  
  15.              for(int i=0;i
  
  
  
  
  16.                  System.out.print("Start to get weibo data num "+(i+1)+"\n");  
    17. 
  
  
  
  
  17.                  List statuses =weibo.getPublicTimeline();  
    18. 
  
  
  
  
  18.                  for (Status status : statuses) {  
    19. 
  
  
  
  
  19.                      SaveData(status);  
    20. 
  
  
  
  
  20.                  }  
    21. 
  
  
  
  
  21.                  try{  
    22. 
  
  
  
  
  22.                      System.out.print("Success to get weibo data num "+(i+1)+"\n");  
    23. 
  
  
  
  
  23.                      System.out.print("Sleep for 30 seconds");  
    24. 
  
  
  
  
  24.                      Thread.sleep(30000);  
    25. 
  
  
  
  
  25.                  }catch(Exception ee){  
    26. 
  
  
  
  
  26.                      System.out.print("Sleep Error");  
    27. 
  
  
  
  
  27.                  }  
    28. 
  
  
  
  
  28.              }  
    29. 
  
  
  
  
  29.          } catch (WeiboException e) {  
    30. 
  
  
  
  
  30.              e.printStackTrace();  
    31. 
  
  
  
  
  31.          }  
    32. 
  
  
  
  
  32.      }  
    33. 
  
  
  
  
  33.      public void SaveData(Status status){  
    34. 
  
  
  
  
  34.          //Return data format:  
    35. 
  
  
  
  
  35.                  //created_at,id,text,source,mid  
    36. 
  
  
  
  
  36.                  //user:id,screen_name,name,provience,city,location,description,url,domain,gender,  
    37. 
  
  
  
  
  37.                  //followers_count,friends_count,statuses_count,favourites_count,created_at,verified  
    38. 
  
  
  
  
  38.                  //annotations:server_ip  
    39. 
  
  
  
  
  39.                  try{  
    40. 
  
  
  
  
  40.                      User user=status.getUser();  
    41. 
  
  
  
  
  41.                      FileWriter fw=new FileWriter("F:/Sina.txt",true);  
    42. 
  
  
  
  
  42.                      fw.write(status.getCreatedAt()+"\t"+status.getId()+"\t"+status.getText()+"\t"+  
    43. 
  
  
  
  
  43.                      status.getSource()+"\t"+status.getMid()+"\t"+  
    44. 
  
  
  
  
  44.                      user.getId()+"\t"+user.getScreenName()+"\t"+user.getName()+"\t"+  
    45. 
  
  
  
  
  45.                      user.getProvince()+"\t"+user.getCity()+"\t"+user.getLocation()+"\t"+  
    46. 
  
  
  
  
  46.                      user.getDescription()+"\t"+user.getURL()+"\t"+user.getUserDomain()+"\t"+  
    47. 
  
  
  
  
  47.                      user.getGender()+"\t"+user.getFollowersCount()+"\t"+user.getFriendsCount()+"\t"+  
    48. 
  
  
  
  
  48.                      user.getStatusesCount()+"\t"+user.getFavouritesCount()+"\t"+user.getCreatedAt()+"\t");  
    49. 
  
  
  
  
  49.                      fw.write("\n");  
    50. 
  
  
  
  
  50.                      fw.close();  
    51. 
  
  
  
  
  51.                  }  
    52. 
  
  
  
  
  52.                  catch(Exception e){  
    53. 
  
  
  
  
  53.                      System.out.print("IO Error");  
    54. 
  
  
  
  
  54.                  }  
    55. 
  
  
  
  
  55.      }  
    56. 
  
  
  
  
  56.  } 
    57.

2、數(shù)據(jù)格式：

要取得數(shù)據(jù)就是微博內(nèi)容，先練一下手玩玩。

3、Python處理數(shù)據(jù)

目標(biāo)：查看微博用戶表情使用情況，暫時(shí)只分性別，如果積累了合適的數(shù)據(jù)后可以分析各個(gè)時(shí)間段人們愛用哪種表情。

步驟：

$ 讀取TXT文件，遞歸處理每一行

$ 單獨(dú)提取出微博字段，正則提取表情字段，同時(shí)把性別提取出來，放到一個(gè)dict里面，dict的格式是：表情/女性使用頻率/男性使用頻率，遞歸處理，累積頻率

$ 把結(jié)果寫入到文件

注意：Python正則提取中文部分，先解碼成unicode編碼，再正則提取，表情的標(biāo)志是[]，雖有誤差，但無大礙。

代碼：

__collection函數(shù)是處理函數(shù)，返回處理結(jié)果(dict)

 
 
 
 
    
  
  
  
  
  1. class EmotionFrequent():  
    2. 
  
  
  
  
  2.      infoFile='F:/Sina.txt' 
    3. 
  
  
  
  
  3.      def __init__(self):  
    4. 
  
  
  
  
  4.          pass 
    5. 
  
  
  
  
  5.      def __collection(self):  
    6. 
  
  
  
  
  6.          f=open(self.infoFile)  
    7. 
  
  
  
  
  7.          d=dict()  
    8. 
  
  
  
  
  8.          n=1 
    9. 
  
  
  
  
  9.          for line in f.readlines():  
    10. 
  
  
  
  
  10.              if line.strip()=='' or line.strip()=='\n':  
    11. 
  
  
  
  
  11.                  pass 
    12. 
  
  
  
  
  12.              cols=line.split('\t')  
    13. 
  
  
  
  
  13.              if len(cols)<20:  
    14. 
  
  
  
  
  14.                  continue 
    15. 
  
  
  
  
  15.              n+=1 
    16. 
  
  
  
  
  16.              es=[]  
    17. 
  
  
  
  
  17.              #if cols[2].find('[')!=-1 and cols[2].find(']')!=-1:  
    18. 
  
  
  
  
  18.              info=cols[2]  
    19. 
  
  
  
  
  19.              for i in re.findall(r'\[\S+?\]',info.decode('utf-8')):  
    20. 
  
  
  
  
  20.                  data=i[1:-1].encode('utf-8')  
    21. 
  
  
  
  
  21.                  if d.has_key(data):  
    22. 
  
  
  
  
  22.                      if cols[14]=='f':  
    23. 
  
  
  
  
  23.                          d[data][0]+=1 
    24. 
  
  
  
  
  24.                          d[data][2]+=1 
    25. 
  
  
  
  
  25.                      else:  
    26. 
  
  
  
  
  26.                          d[data][1]+=1 
    27. 
  
  
  
  
  27.                          d[data][2]+=1 
    28. 
  
  
  
  
  28.                  else:  
    29. 
  
  
  
  
  29.                      if cols[14]=='f':  
    30. 
  
  
  
  
  30.                          d[data]=[1,0,1]  
    31. 
  
  
  
  
  31.                      else:  
    32. 
  
  
  
  
  32.                          d[data]=[0,1,1]  
    33. 
  
  
  
  
  33.          print 'Total records num '+str(n)  
    34. 
  
  
  
  
  34.          return d  
    35. 
  
  
  
  
  35.          pass 
    36. 
  
  
  
  
  36.      def WriteDict(self):  
    37. 
  
  
  
  
  37.          d=self.__collection()  
    38. 
  
  
  
  
  38.          f=open('F:/keys.txt','w')  
    39. 
  
  
  
  
  39.          for k in d:  
    40. 
  
  
  
  
  40.              f.write(k+'\t')  
    41. 
  
  
  
  
  41.              f.write(str(d[k][0])+'\t')  
    42. 
  
  
  
  
  42.              f.write(str(d[k][1])+'\t')  
    43. 
  
  
  
  
  43.              f.write(str(d[k][2])+'\n')  
    44. 
  
  
  
  
  44.          f.close()  
    45. 
  
  
  
  
  45.          pass 
    46. 
  
  
  
  
  46.      def Run(self):  
    47. 
  
  
  
  
  47.          self.WriteDict()  
    48. 
  
  
  
  
  48.      pass 
    49.

腳本運(yùn)行結(jié)果：

把結(jié)果放到EXCEL里面重新排序，得到如下結(jié)果：

至于怎么解讀這個(gè)結(jié)果，有沒有意義，各有各的想法。

網(wǎng)友評(píng)價(jià)：印證了女人是情緒化動(dòng)物，愛哭愛笑愛愛賣萌愛撒嬌要抱抱。而男人，辛苦易生病易頭暈。

原文：http://www.cnblogs.com/Lannik/archive/2011/10/21/2219776.html


新聞名稱：Python分析新浪微博各種表情使用頻率
文章轉(zhuǎn)載：http://www.5511xx.com/article/dheojih.html