【深度学习面试八股文】-- 1-5

VIP【深度学习面试八股文】-- 1-5
1.样本不平衡的处理方法①欠采样 - 随机删除观测数量足够多的类,使得两个类别间的相对比例是显著的。虽然这种方法使用起来非常简单,但很有可能被我们删除了的数据包含着预测类的重要信息。②过采样 - 对于不平衡的类别,我们使用拷贝现有样本的方法随机增加观测数量。理想情况下这种方法给了我们足够的样本数,但过采样可能导致过拟合训练数据。③合成采样( SMOTE )-该技术要求我们用合成方法得到不平衡类别的观测,该技术与现有的使用最近邻分类方法很类似。问题在于当一个类别的观测数量极度稀少时该怎...
开通可读全文 ·9.9k 人阅读
最低0.47元/天 解锁文章

最近会更新一个深度学习面试中常见问题,及相应的答案,希望对找工作的朋友有所帮助,总结不易,欢迎持续关注。公众号:羽峰码字,欢迎来撩。

目录

1.如何处理样本不均衡问题

2.数据增强方法

3.过拟合的解决办法

4. 正则化

5. 激活函数

6.梯度爆炸,梯度消失,梯度弥散是什么,为什么会出现这种情况以及处理办法


1.如何处理样本不均衡问题

a. 样本的过采样和欠采样

欠采样 :随机删除观测数量足够多的类,使得两个类别间的相对比例是显著的。虽然这种方法使用起来非常简单,但很有可能被我们删除了的数据包含着预测类的重要信息。

过采样 :对于不平衡的类别,我们使用拷贝现有样本的方法随机增加观测数量。理想情况下这种方法给了我们足够的样本数,但过采样可能导致过拟合训练数据。

过采样和欠采样结合

合成采样( SMOTE ):

    1. 基于距离度量的方式计算两个或者多个稀有样本之间的相似性

    2. 选择其中一个样本作为基础样本

    3. 再在邻居样本中随机选取一定数量的样本对那个基础样本的一个属性进行噪声,每次处理一个属性。通过这样的方式产生新数据。

b. 使用多分类器进行分类

 方法一中介绍的过采样,欠采样,都存在相应的问题。

  过采样:可能会存在过拟合问题。(可以使用SMOTE算法,增加随机的噪声的方式来改善这个问题)

  欠采样:可能会存在信息减少的问题。因为只是利用了一部分数据,所以模型只是学习到了一部分模型。

  有以下两种方法可以解决欠采样所带来的问题。

  方法一:模型融合 (bagging的思想 )

  思路:从丰富类样本中随机的选取(有放回的选取)和稀有类等量样本的数据。和稀有类样本组合成新的训练集。这样我们就产生了多个训练集,并且是互相独立的,然后训练得到多个分类器。

     若是分类问题,就把多个分类器投票的结果(少数服从多数)作为分类结果。

     若是回归问题,就将均值作为最后结果。

  方法二:增量模型 (boosting的思想)

  思路:使用全部的样本作为训练集,得到分类器L1

     从L1正确分类的样本中和错误分类的样本中各抽取50%的数据,即循环的一边采样一个。此时训练样本是平衡的。训练得到的分类器作为L2.

     从L1和L2分类结果中,选取结果不一致的样本作为训练集得到分类器L3.

     最后投票L1,L2,L3结果得到最后的分类结果。

c. 将二分类问题转成其他问题

可以将不平衡的二分类问题转换成异常点检测,或者一分类问题(可使用one-class svm建模)

d.改变正负样本在模型中的权重

使用代价函数学习得到每个类的权值,大类的权值小,小类的权值大。刚开始,可以设置每个类别的权值与样本个数比例的倒数,然后可以使用过采样进行调优。

VIP 深度学习八股文 残差连接的有效性详解 (1)网络性能退化问题。 一般认为神经网络的每一层分别对应于提取不同层次的特征信息,有低层,中层和高层,而网络越深的时候,提取到的不同层次的信息会越多,而不同层次间的层次信息的组合也会越多,表达出来的特征也更更好,所以要构建深层神经网络,但是随着网络层数的加深,网络的性能反而下降,这就是深层网络退化的现象,这种现象出现的根本原因就是梯度消失和梯度爆炸的问题。 (2)BN可以用来解决梯度消失/爆炸的问题,但是是在数据层面上的做法。 covariate shift(协方差偏移):这个现象指 开通可读全文·8.5k 阅读·38 点赞·248 收藏 阅读全文

相关推荐

机器学习面试笔试求职必背!八股文(1/5)

算法工程师,技术软件类求职机器学习必背八股文 更多算法/业务/HR面等笔试题面试题 —— >个性签名自取! 1. 特征工程: 1.1 为什么要对特征做归一化处理: Feature scaling,常见的提法有“特征归一化”、“标准化”,是数据预处理中的重要技术。特征间的单位(尺度)可能不同,比如身高和体重,比如摄氏度和华氏度,比如房屋面积和房间数,一个特征的变化范围可能是[ 1000 , 10000 ] [1000, 10000][1000,10000],另一个特征的变化范围可能是[ −.

大厂offer宝典 1万+

算法面试八股文『 模型详解篇 』

算法面试八股文第二弹——经典模型详解篇。

SG_teresa's blog 2416

深度学习CV八股文:从CNN到Transformer的面试考点全解

在计算机视觉岗位的求职竞争中,扎实的深度学习理论基础已成为区分候选人的关键。从卷积神经网络的经典结构到Transformer的视觉改造,从目标检测的范式演进到训练调参的工程细节,每一个知识点都是技术面试中的高频考点。理解反向传播、残差连接、注意力机制等核心原理,不仅有助于解决模型优化与泛化问题,更能指引我们在实际项目中做出合理的技术选型。无论是备战算法岗位面试,还是构建可落地的视觉系统,系统化梳理这些基础概念与实战经验,都能显著提升技术判断力与问题排查效率。本文围绕深度学习CV方向的核心知识框架,整合网络结

weixin_42527464的博客 226

深度学习面试八股文:核心知识点与高频考点解析

深度学习作为机器学习的重要分支,其核心在于通过神经网络模型实现特征自动提取与模式识别。从技术原理看,反向传播算法构成了模型训练的数学基础,而CNN、RNN等经典架构则解决了不同模态数据的处理需求。在实际工程中,优化器选择、正则化技术直接影响模型性能,而模型量化、剪枝等技术则关乎部署效率。这些知识点不仅是学术研究的理论基础,更是面试考核中的高频考点。针对求职面试场景,深度学习八股文系统梳理了从反向传播推导、Transformer原理到混合精度训练等实用内容,帮助考生快速构建知识体系。掌握这些核心概念,既能应对

weixin_34054866的博客 417

AIGC算法工程师 面试八股文

1、简述DDPM的算法原理 2、什么是重参数化技巧?Diffusion Models和VAE中的重参数化技巧是如何使用的? VAE中的重参数化技巧 Diffusion Models中的重参数化技巧 3、什么是马尔可夫过程?DDPM中的马尔可夫链是如何定义的? 马尔可夫过程 DDPM马尔可夫链 4、为什么DDPM前向过程中前期加噪少,后期加噪多? 5、VAE和Diffusion Models中的变分推断是什么? 6、Negative Prompt实现的原理是什么?

沉迷单车的追风少年 1万+

数码管动态扫描避坑指南:如何用188芯片实现50Hz无闪烁显示?

本文深入解析188数码管动态扫描技术,提供工业级无闪烁显示方案。通过优化轮询扫描机制、硬件电路设计和软件架构,实现50Hz高刷新率显示,解决亮度不均和鬼影问题,适用于医疗设备和工业控制面板等高要求场景。

hhh00的博客 979

别再手动拆解字节了!用博图这个功能指令,5分钟搞定ARRAY转BOOL数组

本文详细介绍了西门子博图中`ARRAY_TO_BOOL`功能指令的高效应用,帮助工程师快速实现ARRAY到BOOL数组的转换。通过实战案例和参数配置指南,展示了如何5分钟内完成传统方法需半小时的任务,大幅提升PLC编程效率,特别适用于通信报文解析和设备状态监控。

weixin_42653691的博客 266

CODESYS Softmotion(一)功能介绍

一、CODESYS SoftMotion RTE SL产品 1.1 CODESYS Runtime SL 产品家族介绍 目前支持的主流厂商的硬件产品,让部署在上面的成为实时设备。 对于Windows系统,根据需求选择对应的Runtime: RTE极大的提高了实时性,适合进行运动控制,同时RTE还支持了多个主从站协议: 还可以选择可选的功能(Single License): RTE对硬件和系统有要求,如果你需要硬件功能,那么网卡会有最低要求。 1.2 RTE的下载和安装 在官网http://codes

Fishfishfishfishcat 2万+

Win10系统下Protel 99 SE元件库导入报错?3步搞定File is not recognized问题

本文详细介绍了在Win10系统下解决Protel 99 SE元件库导入报错'File is not recognized'的3步终极方案。通过手动修改配置文件、使用专用工具和优化系统兼容性设置,帮助用户快速解决这一经典PCB设计软件的兼容性问题,提升工作效率。

m3n5b7v8c9x的博客 804

ADS124S08配置避坑指南:从SPI时序到寄存器设置,手把手教你调通24位ADC

本文详细解析了ADS124S08 24位ADC的SPI时序配置、寄存器设置及外围电路设计中的关键细节,帮助工程师避开常见陷阱。从SPI通信模式选择到DRDY引脚读取优化,再到基准电压启动时间调整,提供了实战验证的解决方案,确保高精度数据采集的稳定性。

weixin_29192365的博客 292

淘到一块二手FPGA矿卡,如何用JLink和边界扫描搞定未知引脚定义?

本文详细介绍了如何利用JLink调试器和边界扫描技术逆向破解二手FPGA矿卡的未知引脚定义。通过JTAG接口和边界扫描原理,结合实战装备清单和全流程操作指南,帮助硬件爱好者高效完成引脚定位,实现矿卡的重生与二次开发。

weixin_27014595的博客 172

从零构建AI辅助逆向分析环境:JADX-MCP与LLM的实战集成指南

本文详细介绍了如何从零构建AI辅助逆向分析环境,通过集成JADX-MCP与LLM技术,提升Android应用逆向工程效率。文章涵盖环境搭建、插件安装、MCP服务器配置及实战案例分析,帮助开发者快速掌握AI在代码理解、漏洞挖掘和自动化文档生成中的应用。

weixin_27875131的博客 842

Sigrity SystemSI仿真分析教程文件路径

为了方便读者能够快速上手和学会Sigrity SystemSI 的功能,将Sigrity SystemSI仿真分析教程专栏所有文章对应的实例文件上传至以下路径。

weixin_54787054的博客 720

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

上一篇: 探寻从小白成长为深度学习大佬的过程,一些超级干货分享
下一篇: 算法岗,2021还会灰飞烟灭嘛?有这一份PDF就所向披靡了
羽峰码字
博客等级 码龄10年 1885粉丝 54原创
评论 50
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

羽峰码字

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址