手搓ZLMediaKit实现拉流推流系列3(RK3588上YOLO系列拉流、MPP解码+编码、推流全流程)

ZLMediaKit源码分析(三)拉流创建 ZLMediaKit拉流结构体创建是在RtspSession::onRecv()之后。如何触发onRecv()请参考这里不在赘述。RtspSession::onRecv()数据处理参考这里也不再赘述。 阅读详情
AI摘要

本文是手搓ZLMediaKit实现拉流推流系列的完结篇,介绍了在RK3588上使用ZLMediaKit拉流、MPP解码、Yolo模型推理、MPP编码并推流的完整流程。相比系列2,主要增加了用于深度学习模型推理的线程池及前后处理相关源文件,还介绍了主函数和回调函数的修改点。

        前段时间比较忙,一直没有时间补充后续的内容。今天终于抽出空来,立马进入码字环节:手搓ZLMediaKit实现拉流推流系列在本篇也终于迎来了完结篇,在本篇文章中,你将看到以下一整套完整流程:使用ZLMediaKit拉流---MPP解码---Yolo模型进行推理---MPP编码并推流。

         在进入正式文章之前,让我们先来回顾一下前面几个系列:

        系列1中,使用官方提供的demo,在RK3588上完成了简单的拉流、推流流程。但是边缘设备毕竟资源有限,因此系列2中,使用了RK3588中的硬件编解码库对拉到的流进行解码与编码,极大程度上解放了CPU。补充系列中简单介绍了RK3588 C++推理流程,如果你不懂这个流程,接下来的代码看起来可能会有点吃力。

        但是,显然还不够!使用RK3588可不仅仅只是为了实现拉流推流这种简单的步骤,我们还需要嵌入深度学习模型推理进去,实现完整的一套拉流-推理-编码-推流的流程。

        相对于系列2(Rockchip MPP编解码),系列3主要是增加了用于深度学习模型(主要是yolo系列模型)推理的线程池。以及前后处理能相关源文件。

1. 主要修改点介绍

1. 1 主函数修改

主函数中比较重要的函数有两个:

(1)SegThreadPool,线程池类,专门用于视频帧数据推理(新增)。

(2)mpp_decoder_frame_callback,解码回调函数,一帧视频帧数据解码完成后调用的函数,专门用于数据转化、推理、推流。

其余步骤和系列2是一样的,接下里主要讲一下回调函数的修改点。

typedef struct 
{
    MppDecoder *decoder;    // MPP解码器
    MppEncoder *encoder;    // MPP编码器
    mk_player player;       // 播放器
    mk_media media;         // 媒体服务
    mk_pusher pusher;       // 推送器
    char push_url[1024];    // 推送地址
    uint64_t pts;           //显示时间戳
    uint64_t dts;           //解码时间戳
} rknn_zl_app_context_t;

static SegInfer *seg = nullptr;                         // 模型
static SegThreadPool *seg_thread_pool = nullptr;        // 线程池

int main()
{
    std::string model_path = "模型路径";
    char *stream_url = "RTSP流地址";
    char *push_url = "rtmp://localhost/live/stream";     // 推流地址,以盒子本机作为推流服务器
    int video_type = 264;                                // 视频流类型:264/265

    seg_thread_pool = new SegThreadPool();               // 创建线程池
    seg_thread_pool->setUp(model_path, 10);              // 初始化线程池,使用10个线程进行推理工作

    rknn_zl_app_context_t app_ctx;                       // 创建上下文
    memset(&app_ctx, 0, sizeof(rknn_zl_app_context_t));  // 初始化上下文

    if (app_ctx.decoder == NULL)
    {
        MppDecoder *decoder = new MppDecoder();           // 创建解码器
        decoder->Init(video_type, 30, &app_ctx);          // 初始化解码器
        decoder->SetCallback(mpp_decoder_frame_callback); // 设置回调函数,用来处理解码后的数据
        app_ctx.decoder = decoder;                        // 将解码器赋值给上下文
    }

    process_video_rtsp(&app_ctx, stream_url, push_url);   // 处理实时视频流

    if (app_ctx.decoder != nullptr)
    {
        delete (app_ctx.decoder);
        app_ctx.decoder =
保姆级教程:在RK3588开发板上用USB摄像头+ZLMediaKit搭建RTSP推流服务器(附YOLO推理集成思路) 本文详细介绍了在RK3588开发板上使用USB摄像头和ZLMediaKit搭建RTSP推流服务器的完整流程,包括硬件准备、环境配置、核心组件编译与安装、视频采集与编码实现,以及YOLOv5/v8目标检测模型的集成与优化。通过多线程推理架构和系统调优,实现高效的实时视频分析,适用于边缘AI应用场景。 阅读详情

相关推荐

流媒体服务器 ZLMediaKit介绍

支持溯源模式的集群部署,溯源方式支持rtsp/rtmp/hls/http-ts, 边沿站支持hls, 源站支持多个(采用round robin方式溯源)RTSP[S] 服务器,支持RTMP/MP4/HLS转RTSP[S],支持亚马逊echo show这样的设备。支持RTSP/RTMP/HLS转国标推流客户端,支持TCP/UDP模式,提供相应restful api。支持UDP/TCP国标RTP(PS或TS)推流服务器,可以转换成RTSP/RTMP/HLS等协议。

liveweb视频汇聚平台 3854

告别卡顿!利用RK3588 MPP硬编码优化USB摄像头RTSP推流,为YOLO实时识别铺路

本文详细介绍了如何利用RK3588 MPP硬编码优化USB摄像头RTSP推流,为YOLO实时识别提供高效支持。通过硬件加速和系统级调优,显著降低延迟和CPU占用,提升AI推理性能,适用于安防监控等实时场景。

weixin_30369041的博客 481

RK3588+ZLMediaKit+MPP+RKNN:打造YOLOv8视频AI推理全流程

在边缘计算场景中,视频流处理与AI推理的融合已成为智能设备的核心需求。传统的软解软编方案即便在RK3588这类高性能平台上,也难以同时兼顾实时性与CPU占用。文章以RK3588开发板为实践基础,梳理了从RTSP拉流、硬件编解码、NPU推理到流媒体分发的完整技术链路。通过MPP硬件解码器将H.264/H.265码流高效转为NV12帧,再经RGA完成缩放与格式转换,送入经RKNN工具链转换后的YOLOv8模型进行目标检测,最终由MPP硬件编码与ZLMediaKit协作完成推流。该方案在1080P分辨率下可达25

weixin_34279246的博客 371

RK3588 USB摄像头+ZLMediaKit+YOLO实时RTSP推流实战

RTSP流媒体是嵌入式AI视觉系统的核心传输协议,其本质是基于RTP/UDP的低延迟音视频封装与分发机制;在ARM64边缘设备上实现稳定RTSP推流,需协同V4L2视频采集、硬件编解码(如H.264_RKMPP)、流媒体服务器(如ZLMediaKit)及AI推理(如YOLO)四大技术栈。关键技术价值在于降低CPU负载、保障端到端延迟可控、支持NPU/GPU异构加速,并为智能分析提供标准化视频源。典型应用场景包括工业巡检、车载视觉、安防边缘节点等对实时性与资源效率双敏感的领域。本文聚焦RK3588平台,深入解

weixin_28256233的博客 253

开源流媒体服务器ZLMediaKit在Windows上运行、配置、按需拉流拉取摄像头rtsp视频流)并使用http-flv网页播放

目前市面上有很多开源的流媒体服务器解决方案,常见的有SRS、EasyDarwin、ZLMediaKit和Monibuca等。1、SRS3、MonibucaZLMediaKit是一套高性能的流媒体服务框架,目前支持rtmp、rtsp、hls、http-flv等流媒体协议,支持linux、macos、windows三大PC平台和ios、android两大移动端平台。

BADAO_LIUMANG_QIZHI的博客 1万+

官网下载stm32Fx固件库(标准外设)详细步骤

官网下载stm32f407固件库(标准外设)详细步骤

qq_52632983的博客 1万+

AI 编程助手新玩法:用 Claude Code 一键调用国产大模型(DeepSeek/Kimi/GLM 对比)

本文深入评测了Claude Code与三大国产大模型(DeepSeek、Kimi、智谱GLM)的集成效果,详细对比了它们在代码生成质量、响应速度和特殊场景支持度等方面的差异。通过实测数据和实战技巧,帮助开发者选择最适合的AI编程助手组合,提升开发效率。

weixin_30955617的博客 496

DeepSeek研发的精算大模型「精卫」已实现98%精算任务覆盖,中国人寿采用后年节约3.2亿元技术采购成本,形成关键技术替代效应

根据现有资料,精算领域关键技术替代效应的行业标准定义尚未明确具体提及。然而,可以从相关文献中提取一些关键概念和方法来推导出可能的定义。​替代效应的基本定义​:替代效应是指一种商品价格变动引起另一种商品的相对价格变动,从而导致消费者在维持原有效用水平不变的条件下对商品需求量做出的调整。​技术替代效应​:在精算领域,技术替代效应可以理解为新技术或新方法对现有技术或方法的替代,从而影响精算模型、数据处理和决策过程。例如,机器学习在精算中的应用日益增长,改变了精算师的工作方式和模型构建方法。​。

百态·数智思维 | 聚焦大数据、量化与未来AI 1717

LMI线性矩阵不等式之非线性变量处理

​ 如果一个LMI线性矩阵不等式中的某项存在两个矩阵变量相乘,那么称该类情形为非线性矩阵不等式,而要直接求解时很困难的,而且LMI工具箱也无法求解非线性矩阵,所以需要通过变量替换法进行处理。 ​...

Mr.邹的博客 4552

企业华为TaurusDB数据库国产替代要点全记录

国产化数据库全方位对比、从互联网企业的先进经验来看mysql的用法、及sql优化、sql异构修改、及数据同步方面都做了一些讲解

深耕互联网的码农,在AI及国产化浪潮下,希望把自己的能力输出给更多的人 1067

游戏大厂技术护城河——为什么你抄不了原神?

│ │ │ │ ↓ 通过 │ │ │ │。│ │ │ │ ↓ 成功 │ │ │ │。│ │ │ │ ↓ 完成 │ │ │ │。│ │ │ │ ↓ 达标 │ │ │ │。

本博客聚焦游戏开发技巧、创业实战心得及大学热门课程干货。这里既有技术深度,也有思维广度,无论你是开发者、创业者还是高校学子,都能在这里找到适合自己的成长之路! 71

cesium 实现经纬线绘制和经纬度标注

废话不对数直接上线效果图及代码 1.效果图 2.实现代码 <!DOCTYPE html> <html lang="en"> <head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="width=device-width,initial-scale=

一碗老面的博客 2570

第244篇 视觉SLAM后端之BA优化——Bundle Adjustment的原理

本文介绍了SLAM后端优化中的Bundle Adjustment(BA)技术。BA通过同时优化相机位姿和3D路标点位置,最小化重投影误差,解决前端估计的累积误差问题。文章详细讲解了BA的数学原理,包括目标函数构建、Gauss-Newton法和Levenberg-Marquardt法求解过程,以及利用稀疏性和Schur补加速计算的关键技术。对比了全量BA和增量BA的优缺点,并介绍了Ceres、g2o等工程实现工具。BA作为SLAM后端的核心算法,其理解深度直接影响系统性能优化能力。

郑伟强dev的专栏 360

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

上一篇: 重生之我和RV1126 RKMedia的恩怨情仇二——不破不立篇
下一篇: SS928V100(Hi3403V100)----ATC模型转换工具----SVP_NNN 和 NNN 踩坑记录(LINUX版)
不想起名字呢
博客等级 码龄7年 4481粉丝 37原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不想起名字呢

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址