1. 为什么我会在深度相机这条路上选 RealSense,而不是其他方案
先交代一下背景。我做了快五年的计算机视觉应用开发,从工业质检到机器人抓取都碰过。深度相机这块,早期用过双目方案,也用过结构光和 ToF,最后在大部分项目里稳定下来的反而是 Intel RealSense。原因不复杂:RealSense 的核心优势在于它把"硬件 + SDK + 跨语言接口"打包得足够完整,特别是 pyrealsense2 这个 Python 绑定,让算法工程师不需要碰 C++ 也能在原型阶段直接吃到相机硬件的能力,这在团队协作和快速迭代里太重要了。
很多刚入坑的同学会纠结一个问题:深度相机到底怎么选?我简单聊聊我的判断依据。双目方案(比如普通 USB 双目模组)成本最低,但它对纹理极其敏感,白墙、反光面、夜间场景基本直接失效,而且深度解算吃 CPU,帧率和分辨率一上去,主控压力立刻拉满。结构光方案(比如早期 Kinect v1 和一些国产散斑结构光相机)在室内近距离效果不错,但容易受环境光干扰,强光直射下深度图会出现大面积空洞。ToF 方案(比如 Kinect v2/v3、一些工业 ToF 相机)对光照鲁棒性最好,但分辨率普遍偏低,而且器件成本高,近距离精度反而不如结构光和主动双目。
RealSense 走的是一条混合路线。以 D435i 为例,它本质上是一个主动立体深度传感器——左右两个红外相机加一个红外点阵投影仪,既继承双目方案的分辨率优势,又通过投射不可见的红外纹理解决了白墙和弱纹理区域匹配失败的问题。再加上全局快门,快速运动下的形变也比卷帘快门小很多。在 0.3 米到 3 米这个常用工作距离内,D435 系列的深度精度表现是相当能打的。而 pyrealsense2 的价值在于,它把这些相机能力以 Python 包的形式直接暴露出来,流的启动、参数下发、帧读取、内参获取、对齐和滤波都有现成接口,算法原型周期从"几天"缩短到"几小时"。
所以这篇文章我想把 pyrealsense2 的实战细节完整串一遍。从环境搭建、数据流读取、彩色深度对齐、点云生成、滤波器链组合,到最后性能优化和排障,都是我实际跑过项目后沉淀下来的东西。如果你正准备用 RealSense 做抓取、SLAM、测量或者人体识别,这篇文章应该能帮你少走不少弯路。已经有经验的朋友也可以直接跳到后面看滤波器调参和排障那几节,那些坑都是文档里查不到的。
2. 从装驱动到 hello world:环境搭建中最容易被卡住的环节
很多人的第一个坑其实不在代码上,而在环境。pyrealsense2 有 pip 包,但并不是你 pip install pyrealsense2 之后就能直接跑起来的。它只是 Python 层绑定,底层依赖的还是 Intel 的 librealsense SDK 和对应平台的驱动。如果你本机没有装过 SDK 或者驱动版本对不上,Python 脚本一运行就会直接报找不到设备,或者初始化时抛 runtime error,这时候排查起来很闹心,因为你不知道自己到底是 Python 包坏了,还是驱动坏了,还是 USB 口供电不足。
2.1 Windows 和 Linux 的安装差异
如果是 Windows,我的建议是老老实实去 Intel 官网下载 RealSense SDK 2.0 的 exe 安装包。这里有个细节,安装时它会同时装上 USB 驱动和 Runtime 组件,这一步是必须的,否则设备管理器里相机会显示成带感叹号的未知设备或 Imaging Device 异常。装完 SDK 以后,再在虚拟环境里执行:
pip install pyrealsense2
然后用下面这段代码做最小验证:
import pyrealsense2 as rs
ctx = rs.context()
print("检测到设备数量:", len(ctx.devices))
for dev in ctx.devices:
print("设备名称:", dev.get_info(rs.camera_info.name))
print("序列号:", dev.get_info(rs.camera_info.serial_number))
正常情况下你应该能看到设备名(比如 Intel RealSense D435I)和序列号。如果设备数量是 0,先别急着怀疑 Python,大概率是驱动没装上或者线材有问题。RealSense 对 USB 线缆相当挑剔,普通充电线经常导致设备识别不稳定,换一根短线或者带屏蔽的 USB 3.0 数据线常常能解决诡异问题。
如果用的是 Linux,路径稍微不同。Ubuntu 下可以走 apt 源安装 librealsense2 和对应的开发包,也可以源码编译,但说实话我一般不推荐新手源码编译,容易在 cmake 阶段卡住。最省事的方式是注册 Intel 的 apt 源后直接安装:
sudo apt install librealsense2-dev librealsense2-utils
装完以后先用命令行工具验证一下硬件状态。这里有个很容易被忽略的点,很多人装完驱动之后会忘掉 udev 规则。如果规则没装,你普通用户拿不到 USB 设备权限,运行时一直报 "No device connected"。手动执行一次规则写入,或者直接用 sudo 跑脚本临时验证都可以。
2.2 realsense-viewer 是你最好的排错工具
在写任何业务代码之前,我强烈建议你打开官方自带的 realsense-viewer 看一眼。Windows 上装完 SDK 开始菜单里就有,Linux 上装完 librealsense2-utils 后终端直接输入 realsense-viewer 。这个工具的用处远比"看个画面"大得多:
- 它能立刻检查固件状态和序列号是否正常识别;
- 能看到深度流、红外流、彩色流分别有没有画面;
- 可以手动切换分辨率、帧率,用来排除相机本身的能力边界;
- 能看到当前实际达到的帧率和丢帧情况,排查线材供电问题非常好用。
我遇到过不少次这样的情况:代码怎么跑都拿不到流,但打开 viewer 发现相机一切正常,最后定位到是代码里把分辨率配成了相机不支持的组合。RealSense 相机有个特点,深度流和红外流的分辨率是有固定搭配的(比如 D435 的深度和红外通常必须一致),但彩色流是独立的传感器,支持的分辨率列表和深度流不完全重合。所以配置 pipeline 时如果深度用 848x480、彩色用 1920x1080,是合法的;但如果你把深度配成 1280x720、彩色也强行用 1280x720,有些固件版本会直接报错或者自动降级。先看 viewer,再写代码,这个习惯能省下一堆排查时间。
2.3 第一个 Python 脚本的完整解读
环境确认没问题之后,就可以跑真正意义上的第一个采集脚本了。下面这个脚本是我每次新项目起步都会先跑一遍的模板,逻辑简单,但包含了控制流、停止流、错误退出这些关键动作:
import pyrealsense2 as rs
import numpy as np
import cv2
pipeline = rs.pipeline()
config = rs.config()
config.enable_stream(rs.stream.depth, 640, 480, rs.format.z16, 30)
config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 30)
profile = pipeline.start(config)
try:
for i in range(30):
frames = pipeline.wait_for_frames()
depth_frame = frames.get_depth_frame()
color_frame = frames.get_color_frame()
if not depth_frame or not color_frame:
continue
1万+



被折叠的 条评论
为什么被折叠?



