大数据知识面试题-通用(2026版)

大数据面试知识点
专栏收录该内容
¥19.90
¥99.00
15 篇文章
序列号 内容 链接
1 大数据知识面试题-通用(2022版) https://blog.csdn.net/qq_43061290/article/details/124819089
2 大数据知识面试题-Hadoop(2022版) https://blog.csdn.net/qq_43061290/article/details/124822293
3 大数据知识面试题-MapReduce和yarn(2022版) https://blog.csdn.net/qq_43061290/article/details/124841929
4 大数据知识面试题-Zookeepr (2022版) https://blog.csdn.net/qq_43061290/article/details/124548428
5 大数据知识面试题-Hive (2022版) https://blog.csdn.net/qq_43061290/article/details/125105485
6 大数据知识面试题-Flume(2022版) https://blog.csdn.net/qq_43061290/article/details/125132610
7 大数据知识面试题-Hbase(2022版) https://blog.csdn.net/qq_43061290/article/details/125145399
8 大数据知识面试题-sqoop(2022版) https://blog.csdn.net/qq_43061290/article/details/125145736
9 大数据知识面试题-Kafka(2022版) https://blog.csdn.net/qq_43061290/article/details/125145841
10 大数据知识面试题-Azkaban(2022版) https://blog.csdn.net/qq_43061290/article/details/125146859
11 大数据知识面试题-Scala (2022版) https://blog.csdn.net/qq_43061290/article/details/125145976
12 大数据知识面试题-Spark (2022版) https://blog.csdn.net/qq_43061290/article/details/125146030
13 大数据知识面试题-Flink(2022版) https://blog.csdn.net/qq_43061290/article/details/125182137
14 数据仓库—建设规范(2022版) https://blog.csdn.net/qq_43061290/article/details/125785261
15 数据仓库–开发流程(2022版) https://blog.csdn.net/qq_43061290/article/details/125967931
16 数据仓库–名词解释及关系(2022版) https://blog.csdn.net/qq_43061290/article/details/125886082

1.1 数据倾斜

当某个job长时间运行没有结束,可能发生了数据倾斜。

1.1.1 hive

设置map端聚合和二次group by保证reduce数据大概平均,然后再设置reduce数量减少每个reduce的数据量
尽量少用distinct,不仅吃不到map端聚合(distinct原理是全局排序去重),而且多个distinct也吃不到二次group的优化。
如果group by 多个字段,或者其它二次group失效的情况,可以走下方spark的解决方案,将hql分多个 hql来做。

1.1.2 Spark

比起hive来说,spark对数据倾斜的优化可以更细一些(也可以说更麻烦些)。

  1. 先用sample(false,0.x)采样key,找出倾斜的key
  2. 把数据集拆成倾斜的部分和不倾斜的部分,不倾斜的部分走正常流程
  3. 倾斜的部分key前面加上一个定长的随机字符串,然后执行重分区
  4. 重分区后进行一个聚合操作,然后去除定长前缀再聚合一次。
  5. 如果是大表join大表,其中一个表有数据倾斜,就需要用膨胀法,将倾斜部分的key加上一个0-n的前缀,一条数据膨胀成n条,然后将另一个表的这部分key也加上相应的前缀,然后单独对这部分数据进行一次双重聚合,与不倾斜的数据进行union操作,完成聚合。
  6. 空值看作是特殊的key,空值多了一样用3的方法去解决。

VIP 2026大数据面试题汇总(完善中。。。) 自己汇总的面试题,涉及到大数据的常用组件、理论,将持续更新... ... 部分图片不全,后期继续完善 组件更新记录(字数受限): 2026-3-23前1.6.4:JAVA、hadoop,hbase、doris,hive,mysql,es、spark,redis,kafka,flink,数据仓库 2026-3-23 1.7.1:clickHouse、SAP、数据仓库、DAMA知识体系、项目管理、更新目录标题,部分面试题、 开通可读全文·3.8k 阅读·6 点赞·13 收藏 阅读全文

相关推荐

2023大数据面试题+附答案

2023大数据面试题+附答案。

大数据-攻城狮 9837

2026版软件测试面试题解析与实战技巧

软件测试是确保软件质量的关键环节,其核心原理包括测试金字塔理论、黑盒/白盒测试策略等基础概念。在工程实践中,自动化测试工具如Selenium 4.0和Appium 2.0通过相对定位器、多会话控制等技术创新大幅提升测试效率。随着AI测试和混沌工程等新兴技术的发展,测试工程师需要掌握从基础理论到前沿技术的完整知识体系。本文特别针对测试面试中的高频考点,如测试框架设计、性能测试参数设置等实战场景,结合JMeter的'3-5-2'负载模型和Kubernetes环境下的测试方案,为求职者提供系统化的备考指南。

weixin_30561177的博客 303

2026高职大数据管理与应用专业就业方向与学习路线指南

大数据技术体系涵盖数据采集、清洗、存储、分析与可视化,其核心价值在于将原始数据转化为可执行的业务洞察。随着各行业数字化落地,企业真正需要的是能熟练使用SQL、Python及可视化工具,解决实际数据问题的应用型人才,而非仅懂算法理论的研究者。从电商销售分析到政务大屏,从传统BI报表到卫星遥感大数据高效精细处理等垂直场景,数据岗位的边界不断扩展。对高职大数据管理与应用专业学生而言,明确“应用”定位至关重要:掌握数据清洗、可视化与基础分析技能,参与真实项目实践,是切入行业的关键。面试中常考的N+1问题、窗口函数等

weixin_32296621的博客 225

2023大数据面试真题(持续更新)

5.有两个数据源,一个记录的是广告投放给用户的日志,一个记录用户访问日志,另外还有一个固定的用户基础表记录用户基本信息(比如学历,年龄等等)。9.线上业务每天产生的业务日志(压缩后>=3G),每天需要加载到hive的log表中,将每天产生的业务日志在压缩之后load到hive的log表时,最好使用的压缩算法是哪个,并说明其原因。为什么不用 Hive 默认的分隔符,默认的分隔符是什么?41.有一千万条短信,有重复,以文本文件的形式保存,一行一条数据,请用五分钟时间,找出重复出现最多的前10条。

我的祖传代码 3万+

Java基础知识面试题(2026版)

序列号 内容 链接 1 Java基础知识面试题(2022版) 待续… 2 Java集合容器面试题(2022版) 待续… 3 Java异常面试题(2022版) 待续… 4 并发编程面试题 (2022版) 待续… 5 JVM面试题(2022版) 待续… 6 Spring面试题(2022版) 待续… 7 Spring MVC面试题(2022版) 待续… 8 Spring Boot面试题(2022版) 待续… 9 Spring Cloud面试题(2022版) 待续… ....

拉格朗日的学习笔记 3万+

前端监控性能指标

文章目录前端监控性能指标性能指标阶段性指标关键性能指标小程序W3C Level 1兼容性常规用法注意事项1、计算HTML文档请求使用 Nav Timing2、计算静态资源使用 getEntriesByType('resource') 代替 getEntries()3、secureConnectionStart 问题4、跨域资源设置响应头 Timing-Allow-Origin5、注意属性值为 0 ...

foolbird 1353

国密USB Key开发实战:SKF库调用全流程解析(附代码示例)

本文详细解析了国密USB Key开发中SKF库的调用全流程,涵盖从设备枚举、应用容器遍历到数字签名与验证的核心步骤。通过实战代码示例,深入探讨了SKF库的层次化模型、SM2签名实现细节以及纯软件验签方案,为开发电子签章、安全登录等合规应用提供了一套完整的调用开发指南。

oo7890的博客 534

VS2022 中 std::mutex 静态初始化陷阱:一次诡异崩溃的排查记录

VS2022中使用std::mutex时遇到的静态初始化陷阱问题。该问题源于VS2022 17.4版本为std::mutex添加constexpr支持后,全局静态初始化可能导致系统资源未就绪时锁失效或崩溃。文章分析了问题现象、影响范围,并提供了解决方案。最后给出了排查清单和核心建议

qq_34552942的博客 956

红外图像和可见光图像异源图像配准问题研究

本文旨在研究一种具有高准确率和鲁棒性的融合图像障碍物检测技术,通过把红外和可见光图像进行图像配准和融合,获取高质量的异源融合图像,根据融合图像的特点采用有效的障碍物检测算法,将图像中的障碍物准确检出。......

G_redsky的博客 1万+

AJ-Report开源数据大屏存在远程命令执行漏洞

该平台可以通过post方式在validationRules参数对应值中进行命令执行,可以获得服务器权限,登陆管理后台接管大屏。如果被攻击者利用,危害后果十分严重。

swordheart的博客 394

【实战分享】构建企业级RAG(Retrieval-Augmented Generation)知识库的全面实践

大模型指的是训练参数量极其庞大的深度学习模型,如GPT-3、GPT-4等。这些模型能够通过海量的数据学习,具备强大的语言理解和生成能力。在问答系统中,大模型能够理解用户提出的问题,并生成相关的回答。"""添加文档向量"""pass"""相似度检索"""pass"""获取页面分段"""passMilvus是一个开源的向量数据库,专为高效的向量存储和检索设计。Milvus支持多种索引方式(如IVF、HNSW等),并提供高效的查询和检索功能。索引构建:Milvus通过创建索引加速查询速度。

后端研发工程师Marion的博客 5941

第七天 Labview进阶(7.4 NI Vision简单使用)

NIVision机器视觉软件使用指南 摘要:NIVision是National Instruments推出的高效机器视觉软件,具有硬件无缝集成、图形化编程和工业级部署等优势。本文介绍了NIVision的安装步骤(需Vision Acquisition和Vision Development模块)及三个典型应用案例:1)实物检测通过IMAQCreate等模块实现物体识别与坐标定位;2)OCR检测利用IMAQOCR系列模块完成字符识别;3)几何模板匹配使用IMAQLearnGeometricPattern等模块实

weixin_38637405的博客 773

GNSS/RTK定位失效时的替代方案:视觉惯性里程计(VIO)

GNSS/RTK定位失效时的替代方案:视觉惯性里程计(VIO)​ ,人工智能,计算机视觉,大模型,AI,本文详细介绍了视觉惯性里程计(VIO)作为GNSS/RTK定位失效时的替代方案。阐述了VIO的定义、优势及与其他定位技术的区别,讲解了视觉传感器和IMU的工作原理及数据融合原理,分析了时间同步、标定等关键技术,介绍了VINS-Mono等常用框架、简单代码示例、应用场景,还探讨了VIO面临的挑战与未来发展趋势,展现了其在多个领域的重要性与应用潜力。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 16万+

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

上一篇: 数据结构与算法面试题(2022版)
下一篇: 大数据知识面试题-Hadoop(2022版)
拉格朗日在思考
拉格朗日在思考 2022年度博客之星大数据领域TOP 3 2022年度博客之星大数据领域TOP 3 领域专家: 后端开发技术领域 领域专家: 后端开发技术领域
博客等级 码龄8年 2万+粉丝 203原创
评论 7
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

拉格朗日在思考

手敲不易,谢谢各位老板,打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址