Hive实现数据抽样的三种方法

背景

在大规模数据量的数据分析及建模任务中，往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源，因此一般情况下只需要抽取一小部分数据进行分析及建模操作。

Hive提供了数据取样（SAMPLING）的功能，能够根据一定的规则进行数据抽样，目前支持数据块抽样，分桶抽样和随机抽样，具体如下所示：

1、随机抽样（rand()函数）

方法一：order by与rand函数结合

千万级数据中进行随机抽样，limit关键字限制抽样返回的数据，order by方式全局排序耗时更长

例子：随机取表100条数据

select * from app.table_name order by rand() limit 100;

方法二：distribute和sort与rand函数结合

使用rand()函数进行随机抽样，limit关键字限制抽样返回的数据，其中rand函数前的distribute和sort关键字可以保证数据在mapper和reducer阶段是随机分布的

例子：随机取表app.table_name并且日期是当天（datekey=’2018-11-14’）100条数据

select * from app.table_name where datekey=’2018-11-14′ distribute by rand() sort by rand() limit 100;

2、数据块抽样（tablesample()函数）

方法一：百分比(percent)

• 语法：tablesample(n percent)

create table xxx_new as select * from xxx tablesample(10 percent)

• 功能：根据hive表数据的大小按比例抽取数据，并保存到新的hive表中。如：抽取原hive表中10%的数据
• 案例：指定where条件可能会报错哦，推荐最好还是不要加where为好（注意：测试过程中发现，select语句不能带where条件且不支持子查询，可通过新建中间表或使用随机抽样解决）

select * from dwd.hr_employee tablesample(10 percent);

方法二：大小(m)

• 语法：tablesample(n M)
• 功能：指定抽样数据的大小，单位为M。

方法三：行数(rows)

• 语法：tablesample(n rows)
• 功能：指定抽样数据的行数，其中n代表每个map任务均取n行数据，map数量可通过hive表的简单查询语句确认（关键词：number of mappers: x)
• 案例：
  • 不指定where条件

select * from dwd.hr_employee tablesample(5 rows);

• • 指定where条件，而且可以看出tablesample函数是在where条件之前生效的～

select * from dwd.hr_employee tablesample(5 rows) where gender = ‘F’;

3、分桶抽样

hive中分桶其实就是根据某一个字段Hash取模，放入指定数据的桶中，比如将表table_1按照ID分成100个桶，其算法是hash(id) % 100，这样，hash(id) % 100 = 0的数据被放到第一个桶中，hash(id) % 100 = 1的记录被放到第二个桶中。创建分桶表的关键语句为：CLUSTER BY语句。 

• 分桶抽样语法：

TABLESAMPLE (BUCKET x OUT OF y [ON colname])

• 功能：分桶抽样，其中x是要抽样的桶编号，桶编号从1开始，colname表示抽样的列，y表示桶的数量。
• 案例：将表随机分成10组，抽取其中的第一个桶的数据

select * from table_01 tablesample(bucket 1 out of 10 on rand())

4、总结

聚合和抽样，特别是聚合函数，在大数据处理过程中是处理数据的主要方法。通过自由的条件限制以及聚合函数组合，基本能完成任意要求的数据处理或分组，随机抽样、数据块抽样、分桶抽样 是三种比较常见的数据抽样方式。

————————————————
版权声明：本文为CSDN博主「Happybigman」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/baidu_20183817/article/details/84099049