前段时间比较忙,一直没有时间补充后续的内容。今天终于抽出空来,立马进入码字环节:手搓ZLMediaKit实现拉流推流系列在本篇也终于迎来了完结篇,在本篇文章中,你将看到以下一整套完整流程:使用ZLMediaKit拉流---MPP解码---Yolo模型进行推理---MPP编码并推流。
在进入正式文章之前,让我们先来回顾一下前面几个系列:
系列1中,使用官方提供的demo,在RK3588上完成了简单的拉流、推流流程。但是边缘设备毕竟资源有限,因此系列2中,使用了RK3588中的硬件编解码库对拉到的流进行解码与编码,极大程度上解放了CPU。补充系列中简单介绍了RK3588 C++推理流程,如果你不懂这个流程,接下来的代码看起来可能会有点吃力。
但是,显然还不够!使用RK3588可不仅仅只是为了实现拉流推流这种简单的步骤,我们还需要嵌入深度学习模型推理进去,实现完整的一套拉流-推理-编码-推流的流程。
相对于系列2(Rockchip MPP编解码),系列3主要是增加了用于深度学习模型(主要是yolo系列模型)推理的线程池。以及前后处理能相关源文件。
1. 主要修改点介绍
1. 1 主函数修改
主函数中比较重要的函数有两个:
(1)SegThreadPool,线程池类,专门用于视频帧数据推理(新增)。
(2)mpp_decoder_frame_callback,解码回调函数,一帧视频帧数据解码完成后调用的函数,专门用于数据转化、推理、推流。
其余步骤和系列2是一样的,接下里主要讲一下回调函数的修改点。
typedef struct
{
MppDecoder *decoder; // MPP解码器
MppEncoder *encoder; // MPP编码器
mk_player player; // 播放器
mk_media media; // 媒体服务
mk_pusher pusher; // 推送器
char push_url[1024]; // 推送地址
uint64_t pts; //显示时间戳
uint64_t dts; //解码时间戳
} rknn_zl_app_context_t;
static SegInfer *seg = nullptr; // 模型
static SegThreadPool *seg_thread_pool = nullptr; // 线程池
int main()
{
std::string model_path = "模型路径";
char *stream_url = "RTSP流地址";
char *push_url = "rtmp://localhost/live/stream"; // 推流地址,以盒子本机作为推流服务器
int video_type = 264; // 视频流类型:264/265
seg_thread_pool = new SegThreadPool(); // 创建线程池
seg_thread_pool->setUp(model_path, 10); // 初始化线程池,使用10个线程进行推理工作
rknn_zl_app_context_t app_ctx; // 创建上下文
memset(&app_ctx, 0, sizeof(rknn_zl_app_context_t)); // 初始化上下文
if (app_ctx.decoder == NULL)
{
MppDecoder *decoder = new MppDecoder(); // 创建解码器
decoder->Init(video_type, 30, &app_ctx); // 初始化解码器
decoder->SetCallback(mpp_decoder_frame_callback); // 设置回调函数,用来处理解码后的数据
app_ctx.decoder = decoder; // 将解码器赋值给上下文
}
process_video_rtsp(&app_ctx, stream_url, push_url); // 处理实时视频流
if (app_ctx.decoder != nullptr)
{
delete (app_ctx.decoder);
app_ctx.decoder =
3854



被折叠的 条评论
为什么被折叠?



