文章目录
1.1 数据倾斜
当某个job长时间运行没有结束,可能发生了数据倾斜。
1.1.1 hive
设置map端聚合和二次group by保证reduce数据大概平均,然后再设置reduce数量减少每个reduce的数据量
尽量少用distinct,不仅吃不到map端聚合(distinct原理是全局排序去重),而且多个distinct也吃不到二次group的优化。
如果group by 多个字段,或者其它二次group失效的情况,可以走下方spark的解决方案,将hql分多个 hql来做。
1.1.2 Spark
比起hive来说,spark对数据倾斜的优化可以更细一些(也可以说更麻烦些)。
- 先用sample(false,0.x)采样key,找出倾斜的key
- 把数据集拆成倾斜的部分和不倾斜的部分,不倾斜的部分走正常流程
- 倾斜的部分key前面加上一个定长的随机字符串,然后执行重分区
- 重分区后进行一个聚合操作,然后去除定长前缀再聚合一次。
- 如果是大表join大表,其中一个表有数据倾斜,就需要用膨胀法,将倾斜部分的key加上一个0-n的前缀,一条数据膨胀成n条,然后将另一个表的这部分key也加上相应的前缀,然后单独对这部分数据进行一次双重聚合,与不倾斜的数据进行union操作,完成聚合。
- 空值看作是特殊的key,空值多了一样用3的方法去解决。
订阅专栏 解锁全文
9837



被折叠的 条评论
为什么被折叠?



