SlowFast-入门1-动作识别-部署与测试

【算法详解】SlowFast——用于视频识别任务的双通道模型 最近在完成一个视频分类的任务,找到并学习了SlowFast模型。这个模型在我实现的任务中取得了较好的效果,所以今天和大家分享一下我对SlowFast这个模型的理解。当然这个模型并不止于实现视频分类,更多用途等待大家去探索。 阅读详情
AI摘要

本文详细介绍了如何在极链AI云平台上部署SlowFast模型,涉及安装Pytorch 1.6.0、Detectron2等库,处理AVA数据集,上传pkl和ava.json文件,以及配置yaml文件进行视频识别测试。着重讲述了从错误排查到最终运行结果的过程,包括PIL库问题和不同环境设置的调整。

SlowFast-部署与测试

SlowFast系列:
SlowFast-入门1-动作识别-部署与测试
Slowfast-入门2-学论文【SlowFast Networks for Video Recognition】

简介

GitHub:
https://github.com/facebookresearch/SlowFast
官方给的运行示例图是这样的。
特点是:识别的动作为原子动作;每个人同一时刻可能被识别出多个动作。
在这里插入图片描述

安装部署

部署平台:极链AI云

部署机器:Tesla V100
部署环境:Pytorch 1.6.0, Python 3.7, CUDA 10.2
这里注意!!!!!!!!
选择Pytorch框架版本可以为1.6.0的机器,这样才能选择到3.7的Python。
由于Detectron2需要Pytorch>=1.7,所以之后会需要再升Pytorch的版本。
但一定要选择Python为3.7!!!!!!!!
要先保证Python为3.7!!!!!!!!在这里插入图片描述

安装过程:

pip install 'git+https://github.com/facebookresearch/fvcore'
pip install simplejson
conda install av -c conda-forge
y
pip install -U iopath
pip install psutil
pip install moviepy
pip install tensorboard
pip install pytorchvideo
pip install torch==1.7.1+cu110 torchvision==0.8.2+cu110 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html
git clone https://github.com/facebookresearch/detectron2.git
pip install -e detectron2
git clone https://github.com/facebookresearch/SlowFast.git
cd SlowFast
python setup.py build develop

安装结束后,成功安装好了fvcore、detectron2、slowfast。
有提示以下错误。
error: Could not find suitable distribution for Requirement.parse(‘PIL’)
但是我看安装教程中,没有特意提到这个PIL库,而且用pip list查看的时候,已经有Pillow库了。
Pillow、PIL更多了解
然后后续的推断测试中也没影响,爷累了,所以先不管他。

安装完后,再用pip list查看:

fvcore                             0.1.5
detectron2                         0.5                 /root/detectron2
sklearn                            0.0
slowfast                           1.0                 /root/Slo
SlowFast视频识别分类算法 本文提出了用于视频识别的 SlowFast 网络。该模型包含:1)Slow 路径,以低帧率运行,用于捕捉空间语义信息;2)Fast 路径,以高帧率运行,以较好的时间分辨率捕捉运动。可以通过减少 Fast 路径的通道容量,使其变得非常轻,同时学习有用的时间信息用于视频识别。该模型在视频动作分类和检测方面性能强大,而且 SlowFast 概念带来的重大改进是本文的重要贡献。在没有任何预训练的情况下,我们在 Kinetics 数据集上的准确率达到了 79.0%,远远超过之前的最佳水平。 阅读详情

相关推荐

视频动作识别避坑指南:如何用Non-local模块提升SlowFast模型效果

本文深入探讨了Non-local模块如何有效提升SlowFast模型在视频动作识别中的性能。通过UCF101数据集的实验验证,展示了时空注意力机制在捕捉长距离依赖和复杂动作特征方面的优势,最终将识别准确率提升至82.7%。文章还提供了显存优化和训练参数调优的实用技巧。

weixin_30790841的博客 534

SlowFast训练自定义动作避坑指南:从YAML配置到模型测试的完整流程复盘

本文详细介绍了SlowFast训练自定义动作识别模型的完整流程,从数据准备、YAML配置到模型测试的实战避坑指南。重点解析了数据帧处理、标注格式转换、预训练模型加载等关键步骤中的常见问题,并提供了优化训练效率和推理速度的实用技巧,帮助开发者高效完成动作识别模型的训练与部署。

weixin_30381317的博客 397

别再只盯着YOLO了!用PyTorch Video和SlowFast模型,5分钟搞定你的第一个视频动作识别Demo

本文介绍了如何使用PyTorch Video和SlowFast模型快速搭建视频动作识别系统。通过详细的代码示例和优化技巧,帮助开发者在5分钟内实现高效的视频分析,适用于健身动作识别、零售行为分析等多种AI应用场景。

weixin_29047919的博客 273

告别手动标注!用Detectron2的Faster R-CNN为SlowFast数据集自动框人(附完整脚本)

本文详细介绍了如何利用Detectron2的Faster R-CNN预训练模型为SlowFast数据集实现自动化人体标注的全流程。通过智能视频分割、批量检测和AVA格式转换等关键技术,开发者可将标注效率提升10倍以上,显著降低计算机视觉项目的时间成本。

weixin_30482181的博客 451

基于YOLOv5与SlowFast的台球精彩瞬间自动剪辑系统

计算机视觉技术在体育视频分析领域具有广泛应用,其核心原理是通过目标检测与时序动作识别算法自动提取关键帧。YOLOv5作为轻量级检测模型,能实时定位台球、球杆等物体;SlowFast网络则通过双路径架构分析动作时序特征。这种技术组合可显著提升视频处理效率,特别适用于台球比赛中的高难度进球、精准防守等场景识别。系统采用边缘计算部署方案,在Jetson Xavier NX上实现低延迟处理,结合动态时间规整算法自动生成包含前导、击球、球路走向的完整精彩片段,为体育视频自动化生产提供了可落地的工程实践。

anvt77205的博客 425

在AutoDL云平台实战部署SlowFast视频理解模型:从环境配置到Demo运行全记录

本文详细记录了在AutoDL云平台部署SlowFast视频理解模型的全过程,从环境配置到Demo运行。通过实战经验分享,帮助开发者避开常见坑点,快速实现视频行为识别和动作检测任务,特别适合需要高效GPU资源的AI研究者。

weixin_29057065的博客 156

实战指南:如何用mmaction2快速搭建视频动作识别模型(含代码示例)

本文提供了一份基于MMAction2工具箱的视频动作识别实战指南。通过详细的步骤,从环境配置、数据准备与预处理,到模型选择、训练与评估,手把手教你快速搭建可用的行为识别模型。文中包含TSN、TSM等模型配置与代码示例,并探讨了性能优化与部署考量,助力开发者高效实现算法落地。

weixin_29054399的博客 258

YOLOv8+SlowFast实战:用最新组合模型搭建驾驶员分心行为检测系统(附Colab notebook)

本文详细介绍了如何利用YOLOv8与SlowFast模型构建工业级驾驶员分心行为检测系统。通过结合目标检测与时序行为分析,该系统能有效识别复杂驾驶场景中的分心行为,提升道路安全。文章涵盖系统架构设计、模型训练调优、工业部署优化及实际应用案例,为深度学习在计算机视觉领域的应用提供实践指导。

weixin_29084111的博客 416

基于YOLO的运动员动作识别系统设计与优化

目标检测技术作为计算机视觉的核心任务之一,在运动分析领域展现出重要价值。YOLO算法因其单阶段检测架构和卓越的实时性能,特别适合高速运动场景下的目标识别。通过将检测任务转化为回归问题,YOLO能在保持较高精度的同时实现实时处理,在RTX 3060显卡上可达140FPS。针对运动员动作分析这一特定场景,系统采用模块化设计,包含视频采集、目标检测、动作分析和数据可视化四大核心组件,并通过异步处理管道提升吞吐量。关键技术实现上,对YOLOv5进行了运动场景专项优化,包括数据增强策略调整、锚框重新聚类等改进,配合轻

weixin_33937778的博客 301

从安防到健身:聊聊YOLO+SlowFast算法在实际业务中的部署与优化心得

本文探讨了YOLO+SlowFast算法在安防和健身等业务场景中的实际应用与优化策略。通过结合目标检测与人体动作识别技术,该算法组合在实时性、轻量化和业务友好度方面表现出色。文章详细介绍了从数据标注到模型部署的关键决策点,包括数据标注优化、模型轻量化、动作类别设计等,为工业界落地提供了实用指南。

weixin_27298377的博客 361

SlowFast网络实战:如何用双路径模型提升视频动作识别准确率(附代码)

本文详细介绍了SlowFast双路径模型在视频动作识别中的高效应用,通过环境配置、模型架构解析、实战训练技巧和优化部署方案,显著提升识别准确率。特别适合需要处理快速动作场景的开发者,附有完整代码示例和常见问题解决方案。

weixin_26824299的博客 217

SlowFast视频行为识别实战:从环境搭建到源码解析与模型训练

视频理解是计算机视觉的核心领域,旨在让机器像人一样解读视频中的时空信息。其基本原理是通过深度学习模型同时提取视频的空间特征(如场景、物体)和时间特征(如动作、运动轨迹),从而实现精准的行为识别与内容分析。这项技术在智能监控、人机交互、内容推荐和体育分析等场景中具有重要价值。本文以经典的**双路径网络**架构为例,深入讲解如何从零开始部署和运行一个完整的视频理解项目。我们将重点拆解**环境配置**、**数据预处理**和**模型训练**等关键环节,手把手解决CUDA版本匹配、依赖冲突等常见工程难题,并深入源码分

weixin_29040367的博客 322

slowfast核心思想解读

场景:动作在变,环境不变需要解决的问题:如何获取动作信息和环境信息?对于环境信息,我们可以取视频中的某一帧出来,利用卷积等方式提取特征,即可获取环境信息。对于动作信息,我们可以采样出视频中的包含时间信息的图像序列,通过3D卷积等方式提取特征。但是,我们需要考虑一个问题,即速度,假如我们对每一帧进行处理,网络复杂度比较大,无法满足实时处理的需求。但是,对于一个动作,虽然是一个连续的过程,我们也可以通过有间隔的采样去表示这个动作。这样就能够减少大量的运算。

qq_52053775的博客 1597

ava.json测试标签数据80种类

AVA数据集json标签文件ava.json测试标签数据80种类,google研究AVA人类行为数据集的标签文件

避坑指南:Win10安装Docker Desktop时Hyper-V报错的7种解决方案(2024最新版)

本文提供了2024年最新、最全面的Windows 10系统下Docker Desktop安装时Hyper-V报错的解决方案指南。文章深入剖析了Hyper-V与Docker的共生关系,并系统性地给出了从BIOS/UEFI设置、Windows功能启用、bcdedit命令修复到处理多虚拟化环境共存等7种核心解决方案,帮助开发者彻底解决安装困局,顺利部署容器化开发环境。

weixin_28840143的博客 533

别再为机械臂抓不准发愁了!手把手教你用VisionMaster的N点标定搞定上下相机

本文详细解析了VisionMaster N点标定在工业视觉精准抓取中的应用,帮助解决机械臂抓取不准的问题。通过上下相机场景的标定策略差异、实操步骤及误差优化方法,提升自动化生产线的效率与精度。

weixin_30954817的博客 336

比亚迪开放平台接口实战:车身状态监测与智能车联应用开发

本文详细介绍了如何利用比亚迪开放平台的车身状态接口进行智能车联应用开发。通过核心类BYDAutoBodyworkDevice,开发者可以安全获取车辆VIN、车门车窗状态、蓄电池电压、方向盘转角等实时数据,并利用监听器实现状态实时响应。文章提供了从SDK集成、接口调用到典型应用场景(如远程车况检查、车队管理)的完整实战指南,助力开发者快速构建基于比亚迪车辆数据的创新应用。

weixin_29176179的博客 746

AttributeError: module ‘lib‘ has no attribute ‘X509_V_FLAG_CB_ISSUER_CHECK‘解决方案

本文主要介绍了AttributeError: module ‘lib’ has no attribute 'X509_V_FLAG_CB_ISSUER_CHECK’解决方案,希望能对使用python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 5万+

ERROR: Ignored the following yanked versions: 0.8.3, 0.10.19.dev18 的解决办法

关于这个问题,博主是在进行项目中的python依赖包安装的时候遇见的,遇到的异常:关于这个问题,是在。

Spring Boot-Common On With You 645

半导体器件仿真:双极型晶体管仿真_15.双极型晶体管的高级仿真技术

双极型晶体管(Bipolar Junction Transistor, BJT)是一种重要的半导体器件,广泛应用于放大、开关和调制等电路中。随着半导体技术的发展,对BJT的仿真要求也越来越高。本节将详细介绍双极型晶体管的高级仿真技术,包括器件模型的选择、仿真参数的优化、温度效应的考虑以及噪声分析等。

2401_87715305的博客 1244

专转本-信息通信技术-笔记

专转本-信息通信技术-笔记

大今野 1368

C# NX二次开发-查找连续倒圆角面

可以通过ufun函数 UF_MODL_ask_face_type 和 UF_MODL_ask_face_props 可判断处理选择相应的一组圆角面。在QQ群里有人问怎么通过一个选择一个倒圆角面来自动选中一组倒圆角面。这个是初步思路,如果有更好的思路可回复讨论一下。

fhqiwmc的博客 624

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

上一篇: YOLOX-入门2-训练-【Reproduce our results on COCO】
下一篇: Slowfast-入门2-学论文【SlowFast Networks for Video Recognition】
小林爱学习ElsieLin99
博客等级 码龄9年 30粉丝 16原创
评论 7
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址