AI上推荐 之 多任务loss优化(自适应权重篇)

推荐系统学习笔记
专栏收录该内容
¥19.90
¥99.00
23 篇文章

1. 写在前面

在多任务学习中,往往会将多个相关的任务放在一起来学习。例如在推荐系统中,排序模型同时预估候选的点击率和浏览时间。相对于单任务学习,多任务学习有以下优势:

  • 多个任务共享一个模型,占用内存量减少;
  • 多个任务一次前向计算得出结果,推理速度增加;
  • 关联任务通过共享信息,相互补充,可以提升彼此的表现。

前面的一篇文章,主要是从模型结构的角度聊了下多任务学习,介绍了工业界非常经典也常用的MMOE模型,然而,对于多任务学习, Loss的优化也非常重要, 因为我们知道通过多个目标去指导网络进行统一的训练,这些目标之间有没有冲突? 多个目标loss之间如何配合? loss的规模是否一致? 等等, 所以这篇文章, 通过几篇paper, 来统一梳理下,在多任务模型训练时, 关于多个loss之间优化常用到的相关思路, 当然这些思路不仅适用于推荐, 只要是多个任务,多个loss同时指导模型训练的场景,比如cv里面的全景感知系统(可能需要同时做目标识别,分割,分类),都可以考虑这些思路方法, 所以这次整理的更像是多任务学习loss优化的一些范式思想。这篇文章会超级长,总结了四篇经典loss优化自适应权重paper的精华内容并通过代码复现和实验进行了对比。 老规矩:根据目录,各取所需即可😉。

loss就想菲涅尔透镜, 纵使你能设计它的含义, 也未必能设计它的梯度,故暴力一轮,差不多就该躺平了

大纲如下:

  • why 多任务学习需要loss优化?
  • SharedB
VIP 【多任务优化】DWA、DTP、Gradnorm(CVPR 2019、ECCV 2018、 ICML 2018) L=i∑​Li​显然这种做法有很大问题,因为不同task的label分布不同,同时不同task的loss量级也不同,整个模型很可能被一些loss特别大的任务主导。L=i∑​wi​∗Li​L=i∑​wi​(t,θ)∗Li​t是训练的step,theta是模型其他参数。但是这种做法也不一定有人工设计权重好。一些设计wi​(t,θ)... 开通可读全文·2.4k 阅读·1 点赞·7 收藏 阅读全文

相关推荐

从电商推荐到NLP:多任务学习Loss优化的7个落地踩坑实录

本文深入探讨多任务学习(MTL)在电商推荐、NLP和计算机视觉等领域的Loss优化实践,分享7个落地项目中的关键挑战与解决方案。从电商场景的CTR/CVR权重博弈,到NLP任务中的分类与实体识别平衡,再到视觉任务的梯度冲突处理,提供GradNorm、动态温度调节等实用技巧,帮助开发者有效提升多任务模型性能。

weixin_30952535的博客 418

从电商推荐到NLP:多任务学习中Loss平衡的行业应用案例解析

本文深入解析多任务学习(MTL)中Loss平衡技术在电商推荐和NLP领域的应用案例。通过对比不同行业场景下的动态平衡策略,如GradNorm和Pareto优化,帮助开发者有效解决多任务学习中的Loss量级差异和业务优先级问题,提升模型效率和业务指标。

weixin_33724046的博客 527

告别手调Loss权重!用GradNorm实现多任务学习的自适应平衡(附TF2.0实现)

本文介绍了GradNorm(梯度归一化)技术在多任务学习中的应用,通过动态调整各任务的梯度权重实现自适应平衡,解决了手动调参的痛点。详细解析了GradNorm的数学原理,并提供了TensorFlow 2.0的工业级实现方案,帮助开发者高效处理多任务学习中的不平衡问题。

github5actions的博客 705

多任务学习MTL模型:动态权重调整与梯度归一化实践

本文深入探讨了多任务学习(MTL)中常见的Loss量级差异与学习速度不均衡问题,并提供了两种核心解决方案:动态权重调整与梯度归一化。文章通过实战经验,详细解析了基于不确定性的加权、动态权重平均以及GradNorm等技术的原理与代码实践,旨在帮助开发者有效平衡多任务训练,提升模型整体性能。

weixin_29212429的博客 518

多任务学习——【ICML 2018】GradNorm

由于各任务在训练过程中自己的梯度量级和收敛速度也是动态变化的,所以很显然这样定值的w做并没有很好的解决问题。从上图可知,GradNorm 是以平衡的梯度作为目标,优化Grad Loss,从而动态调整各个任务的w。,可能导致有些任务还处于欠拟合,可有些任务已经过拟合了。,造成有的task在梯度反向传播中占主导地位,模型过分学习该任务而忽视其它任务。论文链接:https://arxiv.org/pdf/1711.02257.pdf。r调节着任务收敛速度:收敛速度越快,要注意的是,上式中,减号后面的项,是。

1760

深度学习中如何平衡多个loss?多任务学习自动调整loss weight解决方案

目录 问题引入 手动调参 自动调参 从每个任务的同方差不确定性出发 论文赏析 代码分析 视频讲解 说明:写在最后 问题引入 深度学习中,针对loss权重的优化是重要的改进方向,许多深度学习应用都受益于具有多重回归和分类目标的多任务学习。每年的顶会都会出现不少关于loss优化的文章,还有大量的新loss定义方式,眼花缭乱。因此,一个深度学习任务中,一个loss往往有由多个loss复合而成:loss = a*loss1+b*loss2+c*loss3... 如何调整这些loss权重?超参.

沉迷单车的追风少年 6042

YOLOv11【第三章:高阶应用与落地篇·第2节】一文搞懂,YOLOv11-Seg 损失函数改进:优化 Mask IoU Loss 提升边缘精度!

🏆 本文收录于专栏 《YOLOv11实战:从入门到深度优化》。本专栏围绕 YOLOv11 的改进、训练、部署与工程优化 展开,系统梳理并复现当前主流的 YOLOv11 实战案例与优化方案,内容目前已覆盖 分类、检测、分割、追踪、关键点、OBB 检测 等多个方向。

**My Coding Family** 1012

提升AI模型在多任务学习中的性能平衡

多任务学习(Multi-Task Learning, MTL)旨在让AI模型同时处理多个相关任务,从而提高模型的泛化能力和效率。在实际应用中,许多场景都涉及多个任务,例如自然语言处理中的文本分类、情感分析和命名实体识别;计算机视觉中的目标检测、图像分类和语义分割等。然而,在多任务学习中,不同任务之间可能存在冲突,导致模型在某些任务上表现良好,而在其他任务上表现不佳,即出现性能不平衡的问题。

AI云原生与云计算技术学院 435

时序分析基本概念介绍——SI/crosstalk/delta delay/noise/timing Window

信号完整性(Signal Integrity)指的是在周围高频电磁干扰环境中依然能够保持信号稳定的能力;串扰(Crosstalk)指的是相邻的两条或多条net之间的耦合电容带来的相互影响。随着工艺越来越先进,布线密度越来越高,串扰带来的影响越来越重要。在先进工艺节点下,对于STA的check,通常会引入SI(signal integrity)分析。在芯片的电学特性中,时序、串扰和功耗是三项相互相关的重要分析内容。

qq_34326957的博客 1万+

Multisim14安装失败?手把手教你彻底清理残留文件(附专用卸载工具)

本文针对Multisim14安装失败问题,提供了一套从根源解决的完整方案。文章详细分析了安装失败的三大元凶——文件残留、注册表残留和隐藏组件,并手把手指导用户使用专用卸载工具进行标准化清理,再结合手动深度清理文件系统和注册表,最终实现彻底卸载和完美重装,有效解决Multisim14安装问题。

weixin_29179311的博客 320

STK之Commu模块之三仿真卫星通信链路参数计算

考虑上述衰减的影响,可以得到卫星接收机输入端的载波功 [C] = [PT] +[GT] +[GR] -[L] -[L1] -[L2] (

juanhuokang2681的博客 8272

Mac电脑本地安装Stable Diffusion小白教程避开所有坑教程

如果出现黄字部分警告,如WARNING: The scripts pip, pip3 and pip3.9 are installed inz‘/usr/local/opt/python@3.9/Frameworks/Python.framework/Versions/3.9/bin’ which is not on PATH)需要将其添加到path。下载pip,输入:curl https://bootstrap.pypa.io/pip/get-pip.py -o get-pip.py。

jackerjin123的博客 1802

基于Python的携程景点评价爬虫与情感评分分析

摘要: 本项目通过Python技术栈实现携程景点评论的情感分析系统,包含数据爬取、文本预处理、情感评分和可视化分析全流程。使用requests抓取评论接口,jieba进行中文分词,SnowNLP计算情感得分(0-1),并通过词云、情感分布图呈现结果。典型分析显示72%评论为正面,负面反馈多涉及"排队久""票价贵"等问题。系统可辅助景点口碑管理,扩展方向包括多景点对比、BERT模型优化等。项目强调需遵守爬虫伦理,控制请求频率,适用于非商业用途的旅游数据分析。(150字)

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 978

沙猫群优化算法(SCSO)详解:从沙漠生存智慧到全局优化引擎

本文详细介绍了沙猫群优化算法(SCSO),这是一种新型元启发式优化算法,灵感来源于沙猫在沙漠环境中的卓越狩猎行为。SCSO通过模拟沙猫的低频探测能力和精确攻击策略,将优化问题转化为搜索和捕获"猎物"的过程。算法核心包括探索阶段(全局搜索)和开发阶段(局部精细搜索),通过灵敏度范围模型和自适应控制参数实现两者的平衡。SCSO具有参数简单、收敛性能好等优点,适用于解决复杂全局优化问题。

qq_42212808的博客 204

第10.6章 FAST-LIO源码解读(三): iekf模块大揭秘,从公式到代码一看就懂

FAST-LIO中的IEKF模块解析:本文深入剖析了FAST-LIO定位框架中迭代扩展卡尔曼滤波(IEKF)的实现原理。文章首先介绍IEKF作为"激光+IMU融合"计算器的核心作用,解释其通过IMU高频预测和激光点云校正实现厘米级定位的原理。随后详细拆解了代码实现中的关键设计:包括状态量定义(位置、姿态、速度等)、过程噪声建模、状态转移方程推导,以及SO3与欧拉角转换等核心算法。特别强调了IEKF通过迭代优化解决非线性问题的优势,使其在无人机等快速运动场景中保持稳定定位。

行知SLAM 237

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

上一篇: AI上推荐 之 MMOE(多任务yyds)
下一篇: Ubuntu更新显卡驱动与升级cuda版本“采坑“小记
翻滚的小@强
翻滚的小@强 领域专家: 物联网技术领域 领域专家: 物联网技术领域
博客等级 码龄9年 6465粉丝 308原创
评论 17
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址