【大数据入门 | Hive】函数{单行函数,集合函数,炸裂函数,窗口函数}

Hive: 函数大全 一、关系运算: -- 1. 等值比较:= 语法:A=B 操作类型:所有基本类型 描述: 如果表达式 A 与表达式 B 相等,则为 TRUE;否则为 FALSE 举例: hive> select 1 from lxw_dual where 1=1; -- 2. 不等值比较:<> 语法: A <> B 操作类型: 所有基本类型 描述: 如果表达式 A 为 NULL,或者表达式 B 为 NULL,返回 NULL;如果表达式 A 阅读详情

1. 函数简介:

Hive会将常用的逻辑封装成函数给用户进行使用,类似于Java中的函数。

好处:避免用户反复写逻辑,可以直接拿来使用。

重点:用户需要知道函数叫什么,能做什么。

Hive提供了大量的内置函数,按照其特点可大致分为如下几类:单行函数、聚合函数、炸裂函数、窗口函数。

以下命令可用于查询所有内置函数的相关信息。

1)查看系统内置函数

hive> show functions;

2)查看内置函数用法

hive> desc function upper;

3)查看内置函数详细信息

hive> desc function extended upper;

2. 单行函数

单行函数的特点是一进一出,即输入一行,输出一行。

单行函数按照功能可分为如下几类: 日期函数、字符串函数、集合函数、数学函数、流程控制函数等。

2.1 算术运算函数

2.2 数值函数

1)round:四舍五入

hive> select round(3.3);   3

2)ceil:向上取整

hive> select ceil(3.1) ;   4

3)floor:向下取整

hive> select floor(4.8);  4

2.3 字符串函数

1)substring:截取字符串

语法一:substring(string A, int start)

返回值:string

说明:返回字符串A从start位置到结尾的字符串

语法二:substring(string A, int start, int len)

返回值:string

说明:返回字符串A从start位置开始,长度为len的字符串

2)replace :替换

语法:replace(string A, string B, string C)

返回值:string

说明:将字符串A中的子字符串B替换为C。

hive> select replace('atguigu', 'a', 'A')

3)regexp_replace:正则替换

语法:regexp_replace(string A, string B, string C)

返回值:string

说明:将字符串A中的符合java正则表达式B的部分替换为C。注意,在有些情况下要使用转义字符。

hive> select regexp_replace('100-200', '(\\d+)', 'num') 

4)regexp:正则匹配

语法:字符串 regexp 正则表达式

返回值:boolean

说明:若字符串符合正则表达式,则返回true,否则返回false。

(1)正则匹配成功,输出true

hive> select 'dfsaaaa'
Hive 函数大全(吐血整理) Hive 函数大全(吐血整理) 前言   Hive 内部提供了很多函数给开发者使用,包括数学函数,类型转换函数,条件函数,字符函数,聚合函数,表生成函数等等,这些函数都统称为内置函数。 在 hive 中可通过以下命令查看函数信息: --显示所有的可用函数,包括运算符、内置函数、自定义函数 show f 阅读详情

相关推荐

大数据之Hive函数大全

大数据技术组件Hive函数大全,HIve函数最全系列,包括常见的聚合函数,开窗函数等等

m0_55901666的博客 2943

HIVE函数讲解之单行函数、聚合函数、炸裂函数、窗口函数

Hive处理的数据字段是可再分的,不满足原子性,即DDL可以定义一个字段类型为数组,因此才有了explode()函数,用于给这个字段展开降维,把指定的数组字段拆分降维展开为多行。本文给大家介绍了Hive中一些常用的基本函数、炸裂函数和窗口函数的理论及使用,各位程序猿们需要多多练习函数的使用,体会函数的效果以及它们之间的联合使用!窗口函数,也可以叫开窗函数,其从本质来看是将Hive 中一些复杂的查询封装成了窗口的形式,进行数据统计时使用并且操 作十分方便,窗口函数为统计时使用的聚合函数指定一个聚合的范围。

zjjcchina的博客 419

08 - hive的集合函数、高级聚合函数、炸裂函数以及窗口函数

语法:map (key1, value1, key2, value2, …)说明:根据输入的key和value对构建map类型案例实操:输出:1)需求说明 根据上述电影信息表,统计各分类的电影数量,期望结果如下:

花&败 1111

HiveSQL题——炸裂函数(explode/posexplode)

HiveSQL题——炸裂函数(explode/posexplode)

爱吃辣条的博客 1万+

Hive炸裂函数explode的使用

explode的作用 将一行集合类型的数据炸裂为多行数据。 格式 lateral view explode(字段) 表别名 as 列别名 如果字段类型是map:lateral view explode(字段) 表别名 as key别名,value别名 示例 有如下表数据 +-------------------+----------------------+ | movie_info.movie | movie_info.category | +-------------------+---------

FlatTiger的博客 1万+

Hive 数仓工具(5) 行转列 列转行 字符串拼接 窗口函数 数字编号函数 案例

行转列函数 实现字符串拼接 concat() concat_ws(参数1(分隔符), str1, str2) 可指定分隔符 select concat(“haha”, “–”, “ll”, “–”, “tom”); select concat(ename) from tb_emp; (函数是每行执行一次) select concat(ename, “:”, job) from tb_emp; select concat_ws ("_", “tom”, “cate”, “jim”) cast(变量 AS

湖中屋的博客 805

Hive----炸裂、去重

表生成函数 行转列函数:explode()(炸裂) 在hdp-3下新建表格t_stu_subject: >create table school.t_stu_subject(id int,name string,subjects array<string>) >row format delimited fields terminated by ',' ...

Hi_this_is_ID的博客 1177

Hive SQL进阶:从explode到posexplode,搞定‘多列同时炸裂‘的完整避坑指南

本文深入解析Hive SQL中`explode`与`posexplode`函数的区别与应用,重点解决多列数组数据同时展开时的关联问题。通过实战案例演示如何避免笛卡尔积陷阱,保持数据对应关系,并提供性能优化技巧和复杂场景(如Map类型)的处理方案,帮助开发者高效实现列转行操作。

weixin_42620255的博客 362

Hive 常用指令

Hive 常用指令Hive 常用指令文档hive命令数据类型**数据类型的显示转换**集合数据类型DDLOverviewCreate DatabaseDrop DatabaseAlter DatabaseUse DatabaseCreate Tableexp1exp2exp3HQL--操作数据加载数据导出数据HQL--DQLSelect Syntaxsort by 、order by分区排序(distribute by)/**Cluster By**join函数**日期函数【重要】****字符串函数****

qq_42192672的博客 1243

Hive炸裂函数实战:用explode+lateral view搞定电影分类统计(附完整SQL)

本文通过电影分类统计的实战案例,详细解析了Hive中explode炸裂函数与lateral view侧视图的黄金组合用法。文章演示了如何将逗号分隔的字符串分类拆分为多行数据,实现从宽表到高表的行列转换,并涵盖空值处理、多列炸裂及行列转换闭环等进阶场景,为处理多值字段统计提供了完整的SQL解决方案。

weixin_29099217的博客 156

hive自定义函数

Hive自定义函数(User-Defined Function, UDF)允许用户扩展HiveQL的功能,处理内置函数无法满足的场景。普通UDF:单行输入,单行输出(如字符串处理)UDAF(聚合函数):多行输入,单行输出(如自定义聚合统计)UDTF(表生成函数):单行输入,多行输出(如数据炸裂)

2301_80954266的博客 751

Hive炸裂函数explode实战:5分钟搞定电影分类数据拆分(附完整SQL)

本文深入解析了Hive炸裂函数EXPLODE的实战应用,以电影分类数据拆分为例,详细介绍了如何利用该函数将逗号分隔的字符串字段转换为多行数据。文章涵盖了基础语法、LATERAL VIEW的配合使用、处理多层嵌套标签、炸裂后的数据再聚合等进阶场景,并提供了性能优化与避坑指南,帮助数据分析师和工程师高效处理‘一行转多行’的数据拆分需求。

weixin_29047545的博客 200

Hive Lateral View + posexplode 实战:从数据炸裂到业务洞察

本文深入解析Hive中Lateral View与posexplode函数的实战应用,通过电商用户行为分析、库存管理等案例,展示如何利用posexplode获取数组元素位置信息实现精准业务洞察。文章详细讲解函数原理、典型场景及性能优化技巧,帮助开发者高效处理复杂数据结构。

weixin_27889245的博客 407

(05) Hive的相关概念——函数介绍

HiveSQL的基础知识点

爱吃辣条的博客 2260

《大数据: Hive 行列转换、窗口、排名函数》

一、行转列 一列多行 转 一列一行 前面说的 concat、concat_ws 都是行转列,这里要再说两个函数collect_set、collect_list (UDAF函数) 1.collect_set collect_set(列名) : 将此列的多行记录合并为一个set集合,去重 2.collect_list collect_list(列名) : 将此列的多行记录合并为一个set集合,不去重 二、列转行 一列一行 转 一列多行 1. explode(列名)将...

yexiangCSDN的专栏 405

hive函数大全(中文版)

一、关系运算: 4 1. 等值比较: = 4 2. 不等值比较: 4 3. 小于比较: < 4 4. 小于等于比较: 5 6. 大于等于比较: >= 5 7. 空值判断: IS NULL 5 8. 非空判断: IS NOT NULL 6 9. LIKE比较: LIKE 6 10. JAVA的LIKE操作: RLIKE 6 11. REGEXP操作: REGEXP 7 二、数学运算: 7 1. 加法操作: + 7 2. 减法操作: - 7 3. 乘法操作: * 8 4. 除法操作: / 8 5. 取余操作: % 8 6. 位与操作: & 9 7. 位或操作: | 9 8. 位异或操作: ^ 9 9.位取反操作: ~ 10 三、逻辑运算: 10 1. 逻辑与操作: AND 10 2. 逻辑或操作: OR 10 3. 逻辑非操作: NOT 10 四、数值计算 11 1. 取整函数: round 11 2. 指定精度取整函数: round 11 3. 向下取整函数: floor 11 4. 向上取整函数: ceil 12 5. 向上取整函数: ceiling 12 6. 取随机数函数: rand 12 7. 自然指数函数: exp 13 8. 以10为底对数函数: log10 13 9. 以2为底对数函数: log2 13 10. 对数函数: log 13 11. 幂运算函数: pow 14 12. 幂运算函数: power 14 13. 开平方函数: sqrt 14 14. 二进制函数: bin 14 15. 十六进制函数: hex 15 16. 反转十六进制函数: unhex 15 17. 进制转换函数: conv 15 18. 绝对值函数: abs 16 19. 正取余函数: pmod 16 20. 正弦函数: sin 16 21. 反正弦函数: asin 16 22. 余弦函数: cos 17 23. 反余弦函数: acos 17 24. positive函数: positive 17 25. negative函数: negative 17 五、日期函数 18 1. UNIX时间戳转日期函数: from_unixtime 18 2. 获取当前UNIX时间戳函数: unix_timestamp 18 3. 日期转UNIX时间戳函数: unix_timestamp 18 4. 指定格式日期转UNIX时间戳函数: unix_timestamp 18 5. 日期时间转日期函数: to_date 19 6. 日期转年函数: year 19 7. 日期转月函数: month 19 8. 日期转天函数: day 19 9. 日期转小时函数: hour 20 10. 日期转分钟函数: minute 20 11. 日期转秒函数: second 20 12. 日期转周函数: weekofyear 20 13. 日期比较函数: datediff 21 14. 日期增加函数: date_add 21 15. 日期减少函数: date_sub 21 六、条件函数 21 1. If函数: if 21 2. 非空查找函数: COALESCE 22 3. 条件判断函数:CASE 22 4. 条件判断函数:CASE 22 七、字符串函数 23 1. 字符串长度函数:length 23 2. 字符串反转函数:reverse 23 3. 字符串连接函数:concat 23 4. 带分隔符字符串连接函数:concat_ws 23 5. 字符串截取函数:substr,substring 24 6. 字符串截取函数:substr,substring 24 7. 字符串转大写函数:upper,ucase 24 8. 字符串转小写函数:lower,lcase 25 9. 去空格函数:trim 25 10. 左边去空格函数:ltrim 25 11. 右边去空格函数:rtrim 25 12. 正则表达式替换函数:regexp_replace 26 13. 正则表达式解析函数:regexp_extract 26 14. URL解析函数:parse_url 26 15. json解析函数:get_json_object 27 16. 空格字符串函数:space 27 17. 重复字符串函数:repeat 27 18. 首字符ascii函数:ascii 28 19. 左补足函数:lpad 28 20. 右补足函数:rpad 28 21. 分割字符串函数: split 28 22. 集合查找函数: find_in_set 29 八、集合统计函数 29 1. 个数统计函数: count 29 2. 总和统计函数: sum 29 3. 平均值统计函数: avg 30 4. 最小值统计函数: min 30 5. 最大值统计函数: max 30 6. 非空集合总体变量函数: var_pop 30 7. 非空集合样本变量函数: var_samp 31 8. 总体标准偏离函数: stddev_pop 31 9. 样本标准偏离函数: stddev_samp 31 10.中位数函数: percentile 31 11. 中位数函数: percentile 31 12. 近似中位数函数: percentile_approx 32 13. 近似中位数函数: percentile_approx 32 14. 直方图: histogram_numeric 32 九、复合类型构建操作 32 1. Map类型构建: map 32 2. Struct类型构建: struct 33 3. array类型构建: array 33 十、复杂类型访问操作 33 1. array类型访问: A[n] 33 2. map类型访问: M[key] 34 3. struct类型访问: S.x 34 十一、复杂类型长度统计函数 34 1. Map类型长度函数: size(Map) 34 2. array类型长度函数: size(Array) 34 3. 类型转换函数 35

100个Python代码大全:学完这篇从Python小白到架构师

Python是一种广泛使用的高级编程语言,以其简洁优雅、易于学习和强大的库而闻名。无论你是一位经验丰富的程序员还是初学者,都可以从这种语言的丰富资源中受益。在本篇博客中,我将分享100个实用的Python代码示例,旨在帮助你掌握Python编程,并在日常工作中提高效率。

penggerhe的博客 1万+

SAP ABAP开发避坑:BAPI_MATVAL_PRICE_CHANGE调用报‘估价未维护’的完整解决流程

本文深入解析SAP ABAP开发中调用BAPI_MATVAL_PRICE_CHANGE函数时遇到的'估价未维护'错误,提供从基础配置检查到CKML_PRICE_SEND表维护的完整解决方案。通过实战案例和代码示例,帮助开发者快速定位问题并实现批量价格更新的自动化处理,提升开发效率。

weixin_28705087的博客 434

C++构建量化回测框架:从雪球组合信号到策略验证实战

量化回测是策略研发的核心环节,它通过历史数据模拟交易,评估策略的收益风险特征。其原理在于构建一个包含数据获取、信号生成、交易模拟和绩效评估的闭环系统,以检验策略逻辑在历史市场环境中的表现。这项技术的核心价值在于将主观投资思路客观化、系统化,帮助开发者识别策略的有效性与潜在缺陷。在应用场景上,量化回测广泛应用于股票、期货、数字货币等金融市场的策略研发与优化。本文聚焦于使用C++实现一个本地化、自动化的回测框架,重点解析如何高效抓取雪球组合持仓数据,并构建严谨的**回测引擎**以模拟真实交易环境,同时深入探讨了

weixin_30873847的博客 370

RK3588S开发板实战:手把手教你调试IMX415摄像头(附常见问题排查)

本文提供了基于RK3588S开发板调试IMX415摄像头的完整实战指南。从硬件连接到软件配置,详细解析了设备树(DTS)设置、驱动加载验证及V4L2工具链使用,并附带了常见问题排查方法,帮助开发者快速解决摄像头调试中的典型问题,实现图像采集与性能调优。

assembly8low的博客 605

瑞芯微RK3506开发板Ethercat主站性能优化实战:从内核配置到微秒级延迟控制

本文详细介绍了在瑞芯微RK3506开发板上实现EtherCAT主站微秒级延迟控制的实战优化方案。核心在于部署Preempt-RT实时内核,并进行深度系统调优,包括CPU隔离、中断亲和性设置、内存锁定及电源管理调整。通过绕过Linux网络栈的专用驱动加载与配置,最终实现了稳定的高性能实时控制,满足工业自动化需求。

tcp8optimizer的博客 319

浪涌抗扰度部分解读

8.3 测试仪器: 8.3.1浪涌发生器(对于连接到对称通信线的接口采用10/700us的组合波发生器;对于其他情况采用1.2/50us(8/20us)组合波发生器,输出极性正负可调、移相范围0-360°可调,最大重复率至少每分钟1次,开路输出电压0.5-4kV,电源线的话有效效输出阻抗为2Ω,通信线的话有效输出阻抗为40Ω) 8.3.2 耦合/去耦网络 8.3.3 参考接地平板 8...

喵叫兽的博客 2508

OpenHarmony Stage模型深度解剖:从Ability Kit到沙箱隔离的全链路底层原理

基于微内核架构,提供进程管理、内存管理、IPC通信等基础能力:包含V8引擎、ArkTS运行时、渲染引擎等核心组件:Ability Kit框架,提供应用生命周期管理、组件调度等能力:基于Stage模型的应用程序。

m0_67505153的博客 194

YOLOv11 环境配置全流程 | 从零开始搭建训练与推理环境

YOLOv11环境配置与训练全流程指南 本文详细介绍了YOLOv11目标检测模型的环境配置、训练与推理全流程。内容包括: 环境要求:列出GPU、CUDA、Python等组件的版本要求,提供快速检查脚本 Windows配置: CUDA 12.6和cuDNN 8.9.7安装步骤 使用Conda创建隔离环境 PyTorch GPU版本安装方法 IDE环境配置 Linux配置:提供Ubuntu 22.04下的CUDA、cuDNN安装命令和Conda环境搭建 Docker方案:提供一键式容器化部署命令 训练实战: 数

shrgegrb的博客 2028

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

上一篇: 【大数据入门 | Hive】排序SORT
下一篇: 【力扣 | SQL题 | 每日四题】力扣1783,1757,1747,1623,1468,1661
Vez'nan的幸福生活
Vez'nan的幸福生活 新星创作者: Java技术领域 新星创作者: Java技术领域
博客等级 码龄3年 2936粉丝 361原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址