NuPlayer 之 Renderer

VIPNuPlayer 之 Renderer
触发postDrainAudioQueue_l()或postDrainVideoQueue()开始渲染。解码器输出数据 → NuPlayer::Decoder::onMessageReceived。音频数据存入mAudioQueue,视频数据存入mVideoQueue。• 每次写入后通过mNotifyConsumed通知解码器。• 通过AudioSink::write()写入音频设备。• 根据VSync信号和音频时钟调整渲染时机。• 通过Surface直接提交给显示系统。
开通可读全文 ·325 人阅读
最低0.47元/天 解锁文章

一、数据缓存

1. 缓存数据结构

NuPlayer使用两个队列分别缓存音频和视频数据:

struct QueueEntry {
   
   
    sp<MediaCodecBuffer> mBuffer;  // 存储解码后的音视频数据
    sp<AMessage> mMeta;            // 元数据(如时间戳)
    sp<AMessage> mNotifyConsumed;  // 数据消耗后的回调通知
    //如果该字段为NULL,则表示当前QueueEntry是最后一个(EOS)。
    size_t mOffset;               // 数据读取偏移量
    status_t mFinalResult;        // 结束标志
    int32_t mBufferOrdinal;       // 缓冲区序号
};

List<QueueEntry> mAudioQueue;  // 音频数据队列
List<QueueEntry> mVideoQueue;  // 视频数据队列

2. 缓存填充过程

解码后的数据被封装为QueueEntry

解码器输出数据 → NuPlayer::Decoder::onMessageReceived
→ handleAnOutputBuffer → NuPlayer::Renderer::queueBuffer
→ onQueueBuffer

音频数据存入mAudioQueue,视频数据存入mVideoQueue

触发postDrainAudioQueue_l()或postDrainVideoQueue()开始渲染

3. 缓存消费流程

音频消费:
• 通过AudioSink::write()写入音频设备

• 每次写入后通过mNotifyConsumed通知解码器

视频消费:
• 通过Surface直接提交给显示系统

• 根据VSync信号和音频时钟调整渲染时机

4.关键函数
NuPlayer::Renderer::onQueueBuffer

总结:

  1. 数据分类处理
    • 通过audio标志区分音视频数据,分别存入mAudioQueue/mVideoQueue

    • 视频流首次出现时初始化VideoFrameScheduler

  2. 同步控制机制
    • 时间差计算:比较队列首帧音视频PTS差值(firstVideoTimeUs - firstAudioTimeUs)

    • 纠偏策略:当音频超前视频超过100ms时,丢弃首帧音频数据(避免音画不同步)

  3. 触发渲染流程
    • 音频:postDrainAudioQueue_l() → 最终调用AudioSink::write()

    • 视频:postDrainVideoQueue() → 通过Surface提交给显示系统

  4. 线程安全
    • 音频队列操作使用Mutex::Autolock保护(mLock)

    • 视频队列因运行在渲染线程,无需额外加锁

函数解析

void NuPlayer::Renderer::onQueueBuffer(const sp<AMessage> &
VIP NuPlayer Renderer全面拆解:音视频同步与调度机制 在Android多媒体框架中,播放器开发绕不开音视频同步与渲染调度。NuPlayer作为系统级播放引擎,其Renderer模块正是负责协调解码数据与输出设备的“调度中枢”。它采用消息驱动模型(ALooper/AMessage),通过队列缓存和时钟映射,将音频、视频的buffer按时间戳精准送交AudioTrack与Surface,解决因解码耗时、硬件延迟导致的音画漂移。理解Renderer的同步策略,包括主时钟选择、lateBy差值计算、追帧与丢帧机制,是排查首帧黑屏、Seek后声音异常、画面卡顿等问题的关 开通可读全文·282 阅读·0 点赞·4 收藏 阅读全文

相关推荐

NuPlayer Renderer深度解析:音画同步与播放器渲染机制

音视频同步是播放器开发中的核心难题,直接影响用户的观看体验。在Android多媒体框架中,NuPlayer作为系统级播放器,其Renderer模块负责解码后数据的最终调度与呈现,相当于播放流水线的“出货质检”环节。理解Renderer的职责与设计,有助于开发者解决音画不同步、卡顿、掉帧等常见问题。本文从播放器基础架构出发,介绍Renderer在缓冲解耦、时钟对齐、帧丢弃策略等方面的核心原理,并结合Android MediaCodec、AudioSink等组件的协作机制,阐述其技术价值与应用场景。无论你是从事

weixin_29192211的博客 253

android 之 NuPlayer 介绍

是 Android NuPlayer 播放框架的核心渲染模块,负责协调音视频数据的。,确保播放流畅性与时序准确性。

aningxiaoxixi的博客 737

NuPlayer源码分析(一)梳理NuPlayer的创建流程

一、前言: 之前的博客,有分析过Awesome player,但是随着Android版本的升高,Awesome已经被淘汰,现在的消费电子产品,更青睐于使用Android原生的NuPlayer,NuPlayer是一款native层的应用级播放器,使用的是Android更为推崇的MediaCodec组件,下层和Awesome一样,也是基于omx来解码的,从这篇博客开始,将基于Android5.1版本对NuPlayer源码进行一个分析。本博客先来梳理NuPlayer的创建流程,看下nuplayer是如何调用到Me

achina2011jy的博客 3033

NuPlayer源码解析:解码流程全剖析

/如果需要则显示该帧renderOutputBufferAndRelease;//将帧数据存储在mVideoQueue。(4) mRenderer->queueBuffer//把解码帧数据写入mRenderer。://将数据queueInputBuffer到mediacodec。//将数据queueInputBuffer到mediacodec。//重点设置mediacodec的setCallback。//重点调用mediacodec的configure。//重点创建mediacodec。

我的博客 981

深入理解Android音视频同步机制(三)NuPlayer的avsync逻辑

本文深入介绍了NuPlayer的avsync逻辑和原理

张晖的专栏 1万+

Android NuPlayer要点详解

本文将基于Android N源码对NuPlayer做一个详解。NuPlayer是Android中本地和流媒体播放所用的播放器。1、AHandler机制首先介绍NuPlayer中无处不在的AHandler机制 frameworks/av/include/media/stagefright/foundation/ frameworks/av/media/libstagefright/foundati

张晖的专栏 1万+

fastadmin云快充充电桩系统部署文档uniapp

多商户 嘎嘎快充V1.0部署文档 一、服务器环境: 服务器配置4核心8GB内存5M带宽以上配置 VX next1402 只支持linux环境 nginx1.22 php7.2 开启redis、fileinfo扩展,关闭禁用workerman gatewayworkerman需要的函数,如pcntl相关的函数 mysql5.7 supervisor redis 注意: 1.站点必须配置https、websocket配置wss 2.注意开放直连服务端口:2024,并添加到安全组 二、必

itholiday2014的博客 1635

[pytorch] MedicalNet 3D Resnet预训练模型迁移学习实战:从分割到分类的代码改造

本文详细介绍了如何利用PyTorch对MedicalNet 3D ResNet预训练模型进行迁移学习,从分割任务改造为分类任务。通过解析模型结构、调整分类头、加载预训练权重及优化训练策略,帮助开发者在医疗影像领域快速实现高效模型部署。文章还涵盖了数据预处理、增强技巧及模型轻量化等实用内容。

kmeans3miner的博客 250

PySpark机器学习生产化陷阱:跨节点依赖问题的7种解决方案

隐式依赖陷阱使用ldd解决方案:在基础镜像中预装和路径冲突终极解法依赖树瘦身技巧用conda-tree可减少40%环境体积PySpark机器学习生产化的核心矛盾在于分布式环境的确定性与灵活性不可兼得。轻量级方案(1-3)牺牲一致性换取灵活性重量级方案(4-6)牺牲灵活性换取确定性混合方案(7)针对特殊场景补充正如某AI平台架构师所言:“环境一致性不是技术问题,而是工程纪律问题选择适合团队当前阶段的方案,建立严格的依赖管理流程,才能让PySpark真正扛起生产环境的大旗。

datacanvas2426的博客 914

Allegro模块复用:从原理图到PCB的完整流程与关键细节

本文详细介绍了Allegro模块复用从原理图到PCB的完整流程与关键细节,包括DSN和MDD文件的创建、模块调用的实战技巧以及双向同步与版本控制方法。通过标准化处理和高级复用技巧,能显著提升PCB设计效率,减少重复工作时间。适用于智能硬件和工业控制等领域的工程师。

weixin_30252709的博客 336

展锐平台wifi连接性问题解决方案

对于断开连接的问题,需要从kernel log中确认下,是上 层主动发起的断开(会下发disconnect的命令),还是CP侧上报的断开事件。同学,别退出呀,我可是全网最牛逼的 WIFI/BT/GPS/NFC分析博主,我写了上百篇文章,请点击下面了解本专栏,进入本博主主页看看再走呗,一定不会让你后悔的,记得一定要去看主页置顶文章哦。1、出现wifi连接正常,但无法上网问题,首先确认其他手机是否可以正常上网,排除网络自身问题;3 路由器配置问题,出现过一个案例,恢复出场设置问题就解决了,具体根因。

手机-手表蓝牙开发工程师的博客 2024

属性控制图与P控制图诊断介绍

属性控制图是统计过程控制(SPC)中用于监控离散数据的工具,适用于不符合(次品)或缺陷计数的情况。常见的属性控制图包括P图、NP图、C图和U图,其中P控制图(比例控制图)用于监控不合格品率(即样本中不合格品占总样本的比例)。以下是一个简单的C#代码示例,用于计算P控制图的中心线和控制限,并输出结果。1. 控制限外点:点落在上控制限(UCL)或下控制限(LCL)之外,表明过程失控。- 遍历每个样本,计算比例、标准差、上控制限(UCL)和下控制限(LCL)。P控制图基于二项分布,计算不合格品比例的控制限。

专注于前沿技术的探索与实践,热衷于从代码逻辑、架构设计到行业应用等多维度深挖技术本质。期待在技术之路上与你共同成长~ 1090

【23】C++实战篇——C++报错:LNK2001:无法解析的外部符号 ,LNK2019: 无法解析的外部符号,原因分析及解决方法

该文分析了VS项目中出现的"无法解析的外部符号"LNK2001/LNK2019错误。问题表现为跨项目共享变量时,Projector项目无法解析Line项目中声明的外部变量ImgSavePath和ImgFormat。原因在于头文件声明了变量但未包含实现的源文件。解决方法是将getLine.cpp文件添加到Projector项目中。文章还总结了两种错误代码的区别:LNK2001通常对应变量缺失,LNK2019对应函数缺失。最后列出了具体的报错信息,包括无法解析的变量和函数符号。

程序员,他们想的是什么?他们想的永远都是技术,他们崇尚的也永远都是技术。 2017

AUTOSAR从入门到精通-【应用篇】基于AUTOSAR架构的混合动力电池 ECU 软件开发

由于严峻的环境污染和能源短缺问题,各国都在致力于发展新能源车,以达到节能排放的目的。在此背景下,12V启停系统由于成本较低廉、匹配方便,得到广泛应用。但是12V系统作为启停系统后存在许多问题,比如节能和减排效果有限,并且轻度混合动力系统的功率需求通常在10~15KW,在此电压条件下运行时,电池的电流会达到1000A,因此该方案行不通。高压混合动力系统(>110V)的节油效果好,但是成本很高,并且需要大功率的电机。48V混合动力系统比高压混合动力系统成本。

getusushu的博客 1492

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

上一篇: nuplayer 之 GenericSource
下一篇: Android Audio Patch
盼雨落,等风起
博客等级 码龄9年 1194粉丝 491原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址