建站
咨詢
售后
建站咨詢
新聞中心
問題
Hive執(zhí)行count(*)不走MR呢?
先說結(jié)論：如果表數(shù)據(jù)是insert進表的，count(*)統(tǒng)計時，帶where條件執(zhí)行時候Hive會執(zhí)行MR，如果不帶where條件，Hive會從元數(shù)據(jù)庫表metastore.TABLE_PARAMS中直接獲取numRows字段的值獲取記錄數(shù)。下面創(chuàng)建表進行驗證，在驗證時發(fā)現(xiàn)了Hive在無條件count(*)統(tǒng)計中的一個bug，bug現(xiàn)象也會下面驗證。
創(chuàng)建測試表
create database testdb;
use testdb;
--測試hive
create table test(
id int comment 'id'
)comment '測試hive'
insert into test values('1001');
select count(*) from test ;
select count(*) from test where id>=1001;
hive表存儲位置
表描述信息
hdfs上生成了數(shù)據(jù)
數(shù)據(jù)內(nèi)容
從上面兩個圖上可以看到建表后插入一條記錄，會在metastore.TABLE_PARAMS 表中記錄該表的信息，并且用numRows記錄該表的數(shù)量，查看HDFS該表所在的路徑生成了000000_0的文件，下載下來查看確實是1001。
執(zhí)行count(*)
不帶where條件執(zhí)行：查詢非?？?，也并沒有走MR。
不帶where條件執(zhí)行結(jié)果
帶where條件執(zhí)行：查詢比較慢，且走了MR。
可以驗證Hive不帶where條件的執(zhí)行不走MR，而是直接從元數(shù)據(jù)里獲取表的行數(shù)，這也算是一種優(yōu)化，畢竟Hive存儲的數(shù)據(jù)大多是T+1的數(shù)據(jù)，數(shù)據(jù)寫入后一般不會改變。
Hive的一個bug
本地創(chuàng)建一個ids.txt文件，通過hadoop fs -put 命令上傳到表映射路徑/user/hive/warehouse/testdb.db/test上。
創(chuàng)建文件并上傳到表路徑。
hdfs文件下載并查看結(jié)果
執(zhí)行不帶where條件的count(*)結(jié)果就是錯誤的，而帶where條件的是正確的。
然后通過Hive執(zhí)行帶條件和不帶條件的查詢結(jié)果發(fā)現(xiàn)，不帶where條件中的查詢結(jié)果是1，而帶where條件的結(jié)果是3，說明直接通過hadoop fs -put把文件上傳到路徑的方式會導(dǎo)致Hive在沒有條件的統(tǒng)計下結(jié)果是錯誤的，也側(cè)面證明了無條件的count(*)是從元數(shù)據(jù)庫直接取的數(shù)據(jù)，而用select * 查詢時結(jié)果卻是正確的。
解決方法
要解決上面問題，可以使用Load data指令導(dǎo)入數(shù)據(jù)，但是有如下幾點要注意：
- 有LOCAL表示從本地文件系統(tǒng)加載，文件會被拷貝到HDFS中。
- 無LOCAL表示從HDFS中加載數(shù)據(jù)，文件直接被移動，而不是拷貝。
- OVERWRITE 表示是否覆蓋表中數(shù)據(jù)(或指定分區(qū)的數(shù)據(jù))，沒有OVERWRITE 會直接APPEND，而不會濾重。
- 如果加載同樣文件名的文件，會被自動重命名。
load data
用load data指令上傳完數(shù)據(jù)后，再次用無條件的count(*)統(tǒng)計結(jié)果，發(fā)現(xiàn)Hive又走了MR統(tǒng)計，并且結(jié)果是正確的。
總結(jié)
用insert into 的方式插入到Hive表數(shù)據(jù)時，元數(shù)據(jù)會記錄插入的數(shù)量，為了優(yōu)化查詢，無條件count(*)查詢時直接查元數(shù)據(jù)中記錄的numRows字段，導(dǎo)致結(jié)果不準確。
網(wǎng)站欄目：你知道Hive統(tǒng)計函數(shù)count(*)為什么不走MR嗎？
當前URL：http://www.5511xx.com/article/djgeoep.html
