日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間：8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
使用Python實(shí)現(xiàn)HIVE的UDF函數(shù)

在處理一些復(fù)雜邏輯時(shí)候，python這種面向過程的語言相比于SQL更符合人的思維方式。相信有不少同學(xué)曾經(jīng)感慨，如果能用python處理數(shù)據(jù)庫中的數(shù)據(jù)就好了。那么今天它來了。

首先用python寫處理復(fù)雜邏輯的自定義的函數(shù)(一陽指)，再將函數(shù)代碼嵌入SQL(獅吼功)就能合并成了一整招：UDF

下面我用一個(gè)栗子來說明一些兩者處理數(shù)據(jù)過程中的差異，在介紹栗子之前，先介紹一些with as。與python 創(chuàng)建函數(shù)或者類一樣，with as 用于創(chuàng)建中間表

簡單來做個(gè)介紹

 
 
 
 
    
  
  
  
  
  1. select 
    2. 
  
  
  
  
  2. * 
    3. 
  
  
  
  
  3. from(select * from table where dt='2021-03-30')a 
    4.

可以寫成

 
 
 
 
    
  
  
  
  
  1. with a as (select * from table where dt='2021-03-30' ) 
    2. 
  
  
  
  
  2. select * from a 
    3.

簡單的SQL看不出這樣的優(yōu)勢(shì)(甚至有點(diǎn)多此一舉)，但是當(dāng)邏輯復(fù)雜了之后我們就能看出這種語法的優(yōu)勢(shì)，他能從底層抽取中間表格，讓我們只專注于當(dāng)前使用的表格，進(jìn)而可以將復(fù)雜的處理邏輯分解成簡單的步驟。

如下面地表格記錄了用戶適用app過程中每個(gè)行為日志地時(shí)間戳，我們想統(tǒng)計(jì)一下用戶今天用了幾次app，以及每次的起始時(shí)間和結(jié)束時(shí)間是什么時(shí)候，這個(gè)問題怎么解呢?

SQL實(shí)現(xiàn)方式

首先用with as 構(gòu)建一個(gè)中間表(注意看on 和 where條件)

 
 
 
 
    
  
  
  
  
  1. with t1 as 
    2. 
  
  
  
  
  2. (select 
    3. 
  
  
  
  
  3. x.uid, 
    4. 
  
  
  
  
  4. case when x.rank=1 then y.timestamp_ms 
    5. 
  
  
  
  
  5. else x.timestamp_ms 
    6. 
  
  
  
  
  6. end as start_time, 
    7. 
  
  
  
  
  7. case when x.rank=1 then x.timestamp_ms 
    8. 
  
  
  
  
  8. else y.timestamp_ms end as end_time 
    9. 
  
  
  
  
  9. from 
    10. 
  
  
  
  
  10. (select 
    11. 
  
  
  
  
  11. uid, 
    12. 
  
  
  
  
  12. timestamp_ms, 
    13. 
  
  
  
  
  13. row_number()over(partition by uid order by timestamp_ms) rank 
    14. 
  
  
  
  
  14. from tmp.tmpx) x 
    15. 
  
  
  
  
  15. left outer join 
    16. 
  
  
  
  
  16. (select 
    17. 
  
  
  
  
  17. uid, 
    18. 
  
  
  
  
  18. timestamp_ms, 
    19. 
  
  
  
  
  19. row_number()over(partition by uid order by timestamp_ms) rank 
    20. 
  
  
  
  
  20. from tmp.tmpx) y 
    21. 
  
  
  
  
  21. on x.uid=y.uid and x.rank=y.rank-1 
    22. 
  
  
  
  
  22. where x.rank=1 or y.rank is null or y.timestamp_ms-x.timestamp_ms>=300) 
    23.

首先我們用開窗函數(shù)錯(cuò)位相減，用where條件篩選出我們需要的列，其中

x.rank=1 抽取出第一行

y.rank is null 抽取最后一樣

y.timestamp_ms-x.timestamp_ms>=300抽取滿足條件的行，如下：

當(dāng)然這個(gè)結(jié)果并不是我們要的結(jié)果，需要將上述表格中某一行數(shù)據(jù)的end-time和下一條數(shù)據(jù)的start-time結(jié)合起來起來，構(gòu)造出時(shí)間段

好的，按照上面我們所說的那么下面我們不用關(guān)心底層的邏輯，將注意力專注于這張中間表t1

 
 
 
 
    
  
  
  
  
  1. select 
    2. 
  
  
  
  
  2. a.uid,end_time as start_time,start_time as end_time 
    3. 
  
  
  
  
  3. from 
    4. 
  
  
  
  
  4. (select uid,start_time,row_number()over(partition by uid order by start_time) as rank from t1) a 
    5. 
  
  
  
  
  5. join 
    6. 
  
  
  
  
  6. (select uid,end_time,row_number()over(partition by uid order by end_time) as rank from t1)b 
    7. 
  
  
  
  
  7. on 
    8. 
  
  
  
  
  8. a.uid=b.uid and a.rank=b.rank+1 
    9.

同樣，排序后錯(cuò)位相減，然后就可以打完收工了~

UDF實(shí)現(xiàn)方式

首先我們假設(shè)上述數(shù)據(jù)存儲(chǔ)在csv中，

用python 處理本地文件data.csv，按照python的處理方式寫代碼(這里就不一句句解釋了，會(huì)python的同學(xué)可以跳過，不會(huì)的同學(xué)不妨自己動(dòng)手寫一下)

 
 
 
 
    
  
  
  
  
  1. def life_cut(files): 
    2. 
  
  
  
  
  2. f=open(files) 
    3. 
  
  
  
  
  3. act_list=[] 
    4. 
  
  
  
  
  4. act_dict={} 
    5. 
  
  
  
  
  5. for line in f: 
    6. 
  
  
  
  
  6.     line_list=line.strip().split() 
    7. 
  
  
  
  
  7.     key=tuple(line_list[0:1]) 
    8. 
  
  
  
  
  8.     if key not in act_dict: 
    9. 
  
  
  
  
  9.         act_dict.setdefault(key,[]) 
    10. 
  
  
  
  
  10.         act_dict[key].append(line_list[1]) 
    11. 
  
  
  
  
  11.     else: 
    12. 
  
  
  
  
  12.         act_dict[key].append(line_list[1]) 
    13. 
  
  
  
  
  13.  
    14. 
  
  
  
  
  14. for k,v in act_dict.items(): 
    15. 
  
  
  
  
  15.     k_str=k[0]+"\t" 
    16. 
  
  
  
  
  16.     start_time = v[0] 
    17. 
  
  
  
  
  17.     last_time=v[0] 
    18. 
  
  
  
  
  18.     i=1 
    19. 
  
  
  
  
  19.     while i
  
  
  
  
  20.         if int(v[i])-int(last_time)>=300: 
    21. 
  
  
  
  
  21.             print(k_str+"\t"+start_time+"\t"+v[i-1]) 
    22. 
  
  
  
  
  22.             start_time=v[i] 
    23. 
  
  
  
  
  23.             last_time = v[i] 
    24. 
  
  
  
  
  24.             i=i+1 
    25. 
  
  
  
  
  25.         else: 
    26. 
  
  
  
  
  26.             last_time = v[i] 
    27. 
  
  
  
  
  27.             i=i+1 
    28. 
  
  
  
  
  28.     print(k_str+"\t"+start_time+"\t"+v[len(v)-1]) 
    29. 
  
  
  
  
  29.     # print(k_str + "\t" + start_time + "\t" + v[i]) 
    30. 
  
  
  
  
  30. if __name__=="__main__": 
    31. 
  
  
  
  
  31. life_cut("data.csv") 
    32.

得到結(jié)果如下：

那么下面我們將上述函數(shù)寫成udf的形式：

 
 
 
 
    
  
  
  
  
  1. #!/usr/bin/env python 
    2. 
  
  
  
  
  2. # -*- encoding:utf-8 -*- 
    3. 
  
  
  
  
  3. import sys 
    4. 
  
  
  
  
  4. act_list=[] 
    5. 
  
  
  
  
  5. act_dict={} 
    6. 
  
  
  
  
  6. for line in sys.stdin: 
    7. 
  
  
  
  
  7. line_list=line.strip().split("\t") 
    8. 
  
  
  
  
  8. key=tuple(line_list[0:1]) 
    9. 
  
  
  
  
  9. if key not in act_dict: 
    10. 
  
  
  
  
  10.     act_dict.setdefault(key,[]) 
    11. 
  
  
  
  
  11.     act_dict[key].append(line_list[1]) 
    12. 
  
  
  
  
  12. else: 
    13. 
  
  
  
  
  13.     act_dict[key].append(line_list[1]) 
    14. 
  
  
  
  
  14.  
    15. 
  
  
  
  
  15. for k,v in act_dict.items(): 
    16. 
  
  
  
  
  16. k_str=k[0]+"\t" 
    17. 
  
  
  
  
  17. start_time = v[0] 
    18. 
  
  
  
  
  18. last_time=v[0] 
    19. 
  
  
  
  
  19. i=1 
    20. 
  
  
  
  
  20. while i
  
  
  
  
  21.     if int(v[i])-int(last_time)>=300: 
    22. 
  
  
  
  
  22.       print(k_str+"\t"+start_time+"\t"+v[i-1]) 
    23. 
  
  
  
  
  23.       start_time=v[i] 
    24. 
  
  
  
  
  24.       last_time = v[i] 
    25. 
  
  
  
  
  25.       i=i+1 
    26. 
  
  
  
  
  26.     else: 
    27. 
  
  
  
  
  27.       last_time = v[i] 
    28. 
  
  
  
  
  28.       i=i+1 
    29. 
  
  
  
  
  29. print(k_str+"\t"+start_time+"\t"+v[len(v)-1]) 
    30.

這個(gè)變化過程的關(guān)鍵點(diǎn)是將 for line in f 替換成 for line in sys.stdin，其他基本上沒什么變化

然后我們?cè)賮硪眠@個(gè)函數(shù)

先add這個(gè)函數(shù)的路徑add file /xxx/life_cut.py 加載udf路徑，然后再使用

 
 
 
 
    
  
  
  
  
  1. select 
    2. 
  
  
  
  
  2. TRANSFORM (uid,timestamp_ms) USING "python life_cut.py" as (uid,start_time,end_time) 
    3. 
  
  
  
  
  3. from tmp.tmpx 
    4.

總結(jié)

從上述案例我們可以看出，

UDF和SQL的區(qū)別在于，在處理復(fù)雜邏輯時(shí)候，UDF相比SQL能更高效地組織起來邏輯并落地實(shí)現(xiàn)功能。UDF和普通腳本的關(guān)鍵區(qū)別所在在于將 for line in f 替換成 for line in sys.stdin，常規(guī)函數(shù)一般是將文件一行行讀入，UDF是從標(biāo)準(zhǔn)輸入一行行加載數(shù)據(jù)。希望大家平時(shí)沒事的時(shí)候好好練練python，切莫書到用時(shí)方恨少。


當(dāng)前題目：使用Python實(shí)現(xiàn)HIVE的UDF函數(shù)
當(dāng)前網(wǎng)址：http://www.5511xx.com/article/dppjhop.html