欢迎访问我的GitHub

https://github.com/zq2599/blog_demos

内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；

《hive学习笔记》系列导航

1. 基本数据类型
2. 复杂数据类型
3. 内部表和外部表
4. 分区表
5. 分桶
6. HiveQL基础
7. 内置函数
8. Sqoop
9. 基础UDF
10. 用户自定义聚合函数(UDAF)
11. UDTF

本篇概览

本文是《hive学习笔记》的第五篇，前文学习了分区表，很容易发现分区表的问题：

1. 分区字段的每个值都会创建一个文件夹，值越多文件夹越多；
2. 不合理的分区会导致有的文件夹下数据过多，有的过少；
   此时可以考虑分桶的方式来分解数据集，分桶原理可以参考MR中的HashPartitioner，将指定字段的值做hash后，根据桶的数量确定该记录放在哪个桶中，另外，在join查询和数据取样时，分桶都能提升查询效率；

• 接下来开始实战；

配置

1. 执行以下设置，使得hive根据桶的数量自动调整上一轮reducers数量：

set hive.enforce.bucketing = true;

create external table t13 (name string, age int, province string, city string) 
row format delimited 
fields terminated by ',' 
location '/data/external_t13';

tom,11,guangdong,guangzhou
jerry,12,guangdong,shenzhen
tony,13,shanxi,xian
john,14,shanxi,hanzhong

load data 
local inpath '/home/hadoop/temp/202010/25/013.txt' 
into table t13;

create table t14 (name string, age int, province string, city string) 
clustered by (province, city) into 16 buckets
row format delimited 
fields terminated by ',';

from t13
insert overwrite table t14 
select name, age, province, city;

hive> select * from t14 tablesample(bucket 1 out of 2 on province, city);
OK
tom	11	guangdong	guangzhou
john	14	shanxi	hanzhong
Time taken: 0.114 seconds, Fetched: 2 row(s)