Python+Dlib活体检测实战:5分钟搞定眨眼、张嘴动作识别(附完整UI源码)

人脸活体检测人脸识别:眨眼+张口 使用dilb、face_recognition库实现,眨眼+张嘴的活体检测、和人脸识别功能。包含摄像头和视频 阅读详情

Python+Dlib活体检测实战:5分钟搞定眨眼、张嘴动作识别(附完整UI源码)

最近在开发一个需要验证用户真实性的小工具时,我遇到了一个挺有意思的问题:如何用最简单、最轻量的方法,让程序能判断摄像头前的是真人,而不是一张照片或者一段视频?这个问题在金融支付、门禁考勤甚至是一些互动娱乐应用里都很常见。传统的方案要么依赖昂贵的3D结构光硬件,要么需要训练复杂的深度学习模型,对于想快速验证想法或者构建轻量级应用的开发者来说,门槛有点高。

后来我发现,其实利用人脸关键点这个“老朋友”,配合一些简单的几何计算,就能实现一套相当可靠的配合式活体检测方案。核心思路就是让用户做几个简单的动作,比如眨眨眼、张张嘴,程序通过分析人脸关键点在这些动作中的变化规律,来判断操作者是否为活体。这种方法不依赖特定硬件,在普通RGB摄像头下就能工作,而且算法原理直观,代码实现也相对简单。

今天,我就带大家用Python和Dlib库,快速搭建一个能检测眨眼和张嘴动作的活体检测系统,并给它套上一个简洁的PyQt5图形界面。整个过程力求清晰直白,即使你是刚接触计算机视觉的Python爱好者,跟着步骤走,也能在短时间内看到成果。我们不会涉及复杂的模型训练,而是聚焦于如何利用现成的工具和清晰的逻辑,解决一个实际的问题。

1. 环境准备与核心工具介绍

工欲善其事,必先利其器。在开始编码之前,我们需要准备好运行环境。这个项目对硬件要求不高,一台普通的笔记本电脑就能胜任。软件方面,我们需要Python 3.7或以上版本(我个人习惯用3.8,稳定性很好),以及几个关键的库。

1.1 安装必要的Python库

打开你的终端(Windows上是CMD或PowerShell,macOS/Linux上是Terminal),我们通过pip命令来安装依赖。建议先创建一个独立的虚拟环境,避免包版本冲突。

# 创建并激活虚拟环境(可选,但推荐)
python -m venv liveness_env
# Windows:
liveness_env\Scripts\activate
# macOS/Linux:
source liveness_env/bin/activate

# 安装核心库
pip install dlib==19.24.0
pip install opencv-python==4.8.1.78
pip install PyQt5==5.15.9
pip install numpy==1.24.3

这里重点说一下dlib的安装。如果上述命令安装失败(特别是在Windows上),通常是因为缺少CMake或Visual C++编译工具。一个更稳妥的方法是使用预编译的wheel文件。你可以访问Python Extension Packages for Windows这个非官方站点,根据你的Python版本和系统位数(如cp38代表Python 3.8,win_amd64代表64位)下载对应的dlib的.whl文件,然后用pip install 下载的文件路径进行安装。

1.2 Dlib与人脸关键点模型

Dlib是一个包含机器学习算法的C++工具包,同时提供了Python接口。它在人脸检测和特征点定位上表现非常出色。我们主要用到它的两个功能:

  1. 人脸检测器 (dlib.get_frontal_face_detector): 一个基于HOG(方向梯度直方图)特征和线性SVM(支持向量机)的检测器,速度快,适合实时应用。
  2. 人脸关键点预测器: 我们需要一个预训练模型来定位人脸上的68个关键点。Dlib官方提供了一个这样的模型,文件名为shape_predictor_68_face_landmarks.dat。

你需要下载这个模型文件。可以从Dlib的官方源码仓库找到链接,或者直接在一些开源项目仓库里获取。下载后,将它放在你的项目目录下,比如一个叫做models的文件夹里。

这68个点按照固定的顺序分布,分别对应下巴、眉毛、眼睛、鼻子、嘴巴等轮廓。我们后续的眨眼、张嘴检测,就依赖于对这些点之间距离或比例的计算。

注意:确保模型文件路径正确,在代码中我们需要加载这个文件。如果路径不对,程序会报错。

2. 眨眼检测的原理与代码实现

眨眼检测是我们活体检测的第一个动作。其核心思想是计算眼睛的纵横比(Eye Aspect Ratio, EAR)。当眼睛睁开时,这个比值维持在一个相对稳定的数值;当眼睛闭合时,比值会急剧下降,趋近于零。

2.1 EAR(眼睛纵横比)的计算公式

我们选取每只眼睛的6个关键点(左眼是点37到42,右眼是点43到48)。EAR的定义如下:

EAR = (||p2 - p6|| + ||p3 - p5||) / (2 * ||p1 - p4||)

其中,p1到p6是眼睛轮廓上的六个点(从左到右)。分子计算的是眼睛垂直方向上两对点的距离之和,分母计算的是眼睛水平方向上的宽度。因此,EAR本质上反映了眼睛的“张开程度”。

下面是用Python和NumPy实现EAR计算的函数:

import numpy as np

def eye_aspect_ratio(eye):
    """
    计算眼睛的纵横比 (EAR)
    参数 eye: 一个包含6个(x, y)坐标的NumPy数组,对应一只眼睛的6个关键点。
    """
    # 计算垂直方向的两组欧氏距离
    A = np.linalg.norm(eye[1] - eye[5])  # p2 到 p6 的距离
    B = np.linalg.norm(eye[2] - eye[4])  # p3 到 p5 的距离
    # 计算水平方向的欧氏距离
    C = np.linalg.norm(eye[0] - eye[3])  # p1 到 p4 的距离
    # 计算EAR
    ear = (A + B) / (2.0 * C)
    return ear

2.2 实时视频流中的眨眼判断逻辑

有了EAR的计算方法,我们在视频的每一帧中就可以执行以下步骤:

  1. 使用Dlib检测人脸并获取68个关键点。
  2. 提取左眼和右眼的点坐标,分别计算它们的EAR。
  3. 取两只眼睛EAR的平均值作为当前帧的EAR值。
  4. 设定一个阈值(例如0.25)。当EAR低于这个阈值时,我们认为眼睛处于“闭合”状态。
  5. 为了过滤掉偶然的抖动或检测误差,我们引入一个连续帧计数器。只有当EAR连续低于阈值的帧数达到一个最小值(比如2帧),我们才认为发生了一次有效的眨眼动作。

这个逻辑的代码片段如下:

import dlib
import cv2

# 初始化检测器和预测器
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor("models/shape_predictor_68_face_landmarks.dat")

# 定义眼睛关键点的索引(基于68点模型)
LEFT_EYE_START, LEFT_EYE_END = 42, 48
RIGHT_EYE_START, RIGHT_EYE_END = 36, 42

# 阈值和计数器
EAR_THRESHOLD = 0.25  # EAR阈值,低于此值认为眼睛闭合
CONSECUTIVE_FRAMES = 2  # 判断为一次眨眼所需的连续闭合帧数

# 状态变量
blink_counter = 0  # 连续闭合帧计数器
total_blinks = 0   # 总眨眼次数

# 打开摄像头
cap = cv2.VideoCapture(0)

while True:
    ret, frame = cap.read()
    if not ret:
        break

    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    faces = detector(gray, 0)

    for face in faces:
        landmarks = predictor(gray, face)
        landmarks = np.array([[p.x, p.y] for p in landmarks.parts()])

        # 提取眼睛区域坐标
        left_eye = landmarks[LEFT_EYE_START:LEFT_EYE_END]
        right_eye = landmarks[RIGHT_EYE_START:RIGHT_EYE_END]

        # 计算EAR
        left_ear = eye_aspect_ratio(left_eye)
        right_ear = eye_aspect_ratio(right_eye)
        ear = (left_ear + right_ear) / 2.0

        # 判断眨眼
        if ear < EAR_THRESHOLD:
            blink_counter += 1
        else:
            # 如果之前眼睛是闭合的,且闭合帧数足够,则计为一次眨眼
            if blink_counter >= CONSECUTIVE_FRAMES:
                total_blinks += 1
                print(f"检测到眨眼!总次数:{total_blinks}")
            blink_counter = 0  # 重置计数器

        # 在图像上绘制眼睛轮廓和EAR值(可选,用于调试)
        for (x, y) in left_eye:
            cv2.circle(frame, (x, y), 1, (0, 255, 0), -1)
        for (x, y) in right_eye:
            cv2.circle(frame, (x, y), 1, (0, 255, 0), -1)
        cv2.putText(frame, f"EAR: {ear:.2f}", (10, 30),
                    cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
        cv2.putText(frame, f"Blinks: {total_blinks}", (10, 60),
                    cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)

    cv2.imshow('Blink Detection', frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

运行这段代码,你就能看到一个实时检测眨眼并计数的简单程序了。阈值EAR_THRESHOLD可能需要根据你的摄像头距离、人脸大小进行微调。

3. 张嘴检测的原理与代码实现

张嘴检测的思路与眨眼检测非常相似,只不过我们关注的对象从眼睛换成了嘴巴。我们计算嘴巴的纵横比(Mouth Aspect Ratio, MAR)。

3.1 MAR(嘴巴纵横比)的计算

我们选取嘴巴外轮廓的12个关键点(点49到60)。计算MAR的公式与EAR类似,但选取的点不同。一种常用的方法是计算嘴巴内部高度与宽度的比值。

MAR = (||p2 - p10|| + ||p4 - p8||) / (2 * ||p0 - p6||)

这里p0到p11对应嘴巴外轮廓的12个点。当嘴巴张开时,垂直方向的距离(分子)会增大,导致MAR值升高。因此,我们设定一个较高的阈值,当MAR超过该阈值时,就认为嘴巴张开了。

实现MAR计算的函数如下:

def mouth_aspect_ratio(mouth):
    """
    计算嘴巴的纵横比 (MAR)
    参数 mouth: 一个包含12个(x, y)坐标的NumPy数组,对应嘴巴外轮廓的12个关键点。
    """
    # 计算垂直方向的两组距离(内部高度)
    A = np.linalg.norm(mouth[2] - mouth[10])  # 对应点51和59
    B = np.linalg.norm(mouth[4] - mouth[8])   # 对应点53和57
    # 计算水平方向的宽度
    C = np.linalg.norm(mouth[0] - mouth[6])   # 对应点49和55
    mar = (A + B) / (2.0 * C)
    return mar

3.2 整合眨眼与张嘴检测

现在,我们将眨眼和张嘴检测整合到同一个循环中。我们需要定义嘴巴的关键点索引,并设置MAR的阈值和连续帧计数器。

# 定义嘴巴关键点的索引(基于68点模型)
MOUTH_START, MOUTH_END = 48, 68 # 注意:68点模型中嘴巴点是48到67

# 张嘴检测的阈值和计数器
MAR_THRESHOLD = 0.6  # MAR阈值,高于此值认为嘴巴张开
MOUTH_CONSECUTIVE_FRAMES = 3  # 判断为一次张嘴所需的连续张开帧数

# 状态变量
mouth_counter = 0
total_mouth_opens = 0

# 在主循环中,获取嘴巴关键点后添加以下代码
mouth = landmarks[MOUTH_START:MOUTH_END]
mar = mouth_aspect_ratio(mouth)

if mar > MAR_THRESHOLD:
    mouth_counter += 1
else:
    if mouth_counter >= MOUTH_CONSECUTIVE_FRAMES:
        total_mouth_opens += 1
        print(f"检测到张嘴!总次数:{total_mouth_opens}")
    mouth_counter = 0

# 同样,可以在图像上绘制嘴巴轮廓和MAR值
for (x, y) in mouth:
    cv2.circle(frame, (x, y), 1, (255, 0, 0), -1)
cv2.putText(frame, f"MAR: {mar:.2f}", (10, 90),
            cv2.FONT_HERSHEY_SIMPLEX, 0.7, (255, 0, 0), 2)
cv2.putText(frame, f"Mouth Opens: {total_mouth_opens}", (10, 120),
            cv2.FONT_HERSHEY_SIMPLEX, 0.7, (255, 0, 0), 2)

将这段代码合并到之前的眨眼检测循环里,你的程序就能同时检测眨眼和张嘴两个动作了。MAR_THRESHOLD的值同样需要根据实际情况调整,不同人张嘴的幅度不同,这个阈值可能需要个性化设置。

4. 构建PyQt5图形用户界面(GUI)

命令行程序虽然能跑,但有个界面会直观很多,也方便进行功能测试和演示。我们使用PyQt5来构建一个简单的桌面应用程序。

4.1 设计主界面布局

我们将创建一个主窗口,包含以下区域:

  • 视频显示区域:一个QLabel控件,用于实时显示摄像头画面。
  • 控制按钮区域:包含“开始检测”、“停止检测”、“重置计数”等按钮。
  • 信息显示区域:用于显示当前的EAR、MAR值,以及眨眼、张嘴的计数。
  • 动作测试区域:提供单选按钮,让用户可以选择单独测试“眨眼”或“张嘴”动作。

我们可以使用Qt Designer进行可视化设计,也可以直接用代码编写界面。为了清晰起见,这里展示用代码构建核心界面的方法。

import sys
from PyQt5.QtWidgets import (QApplication, QMainWindow, QWidget, QVBoxLayout,
                             QHBoxLayout, QLabel, QPushButton, QGroupBox,
                             QRadioButton, QSpinBox, QTextEdit)
from PyQt5.QtCore import Qt, QTimer
from PyQt5.QtGui import QImage, QPixmap
import cv2
import numpy as np
# 这里需要导入我们之前写好的检测函数和类

class LivenessDetectionApp(QMainWindow):
    def __init__(self):
        super().__init__()
        self.initUI()
        self.initCamera()
        # 初始化检测状态变量
        self.ear_threshold = 0.25
        self.mar_threshold = 0.6
        self.blink_count = 0
        self.mouth_open_count = 0
        self.is_detecting = False

    def initUI(self):
        self.setWindowTitle('Python活体检测系统')
        self.setGeometry(100, 100, 1000, 700)

        # 中央部件和主布局
        central_widget = QWidget()
        self.setCentralWidget(central_widget)
        main_layout = QHBoxLayout(central_widget)

        # 左侧:视频显示区域
        left_panel = QVBoxLayout()
        self.video_label = QLabel('摄像头预览')
        self.video_label.setMinimumSize(640, 480)
        self.video_label.setAlignment(Qt.AlignCenter)
        self.video_label.setStyleSheet("border: 2px solid gray;")
        left_panel.addWidget(self.video_label)

        # 视频控制按钮
        btn_layout = QHBoxLayout()
        self.start_btn = QPushButton('开始检测')
        self.stop_btn = QPushButton('停止检测')
        self.stop_btn.setEnabled(False)
        self.reset_btn = QPushButton('重置计数')
        btn_layout.addWidget(self.start_btn)
        btn_layout.addWidget(self.stop_btn)
        btn_layout.addWidget(self.reset_btn)
        left_panel.addLayout(btn_layout)

        main_layout.addLayout(left_panel, 70)  # 左侧占70%宽度

        # 右侧:控制与信息面板
        right_panel = QVBoxLayout()

        # 参数设置组
        param_group = QGroupBox("检测参数")
        param_layout = QVBoxLayout()
        param_layout.addWidget(QLabel("EAR阈值 (眨眼):"))
        self.ear_spin = QSpinBox()
        self.ear_spin.setRange(1, 50)
        self.ear_spin.setValue(25)  # 对应0.25
        self.ear_spin.setSuffix(" /100")
        param_layout.addWidget(self.ear_spin)

        param_layout.addWidget(QLabel("MAR阈值 (张嘴):"))
        self.mar_spin = QSpinBox()
        self.mar_spin.setRange(10, 100)
        self.mar_spin.setValue(60)  # 对应0.60
        self.mar_spin.setSuffix(" /100")
        param_layout.addWidget(self.mar_spin)

        param_group.setLayout(param_layout)
        right_panel.addWidget(param_group)

        # 动作测试组
        test_group = QGroupBox("动作测试")
        test_layout = QVBoxLayout()
        self.blink_test_radio = QRadioButton("眨眼测试")
        self.mouth_test_radio = QRadioButton("张嘴测试")
        self.both_test_radio = QRadioButton("综合测试")
        self.both_test_radio.setChecked(True)
        test_layout.addWidget(self.blink_test_radio)
        test_layout.addWidget(self.mouth_test_radio)
        test_layout.addWidget(self.both_test_radio)
        test_group.setLayout(test_layout)
        right_panel.addWidget(test_group)

        # 状态信息显示
        info_group = QGroupBox("检测状态")
        info_layout = QVBoxLayout()
        self.info_display = QTextEdit()
        self.info_display.setReadOnly(True)
        self.info_display.setMaximumHeight(150)
        info_layout.addWidget(self.info_display)
        info_group.setLayout(info_layout)
        right_panel.addWidget(info_group)

        # 计数显示
        count_group = QGroupBox("动作计数")
        count_layout = QVBoxLayout()
        self.blink_count_label = QLabel(f"眨眼次数: 0")
        self.mouth_count_label = QLabel(f"张嘴次数: 0")
        count_layout.addWidget(self.blink_count_label)
        count_layout.addWidget(self.mouth_count_label)
        count_group.setLayout(count_layout)
        right_panel.addWidget(count_group)

        right_panel.addStretch()  # 添加弹性空间,使上面的组件靠上对齐
        main_layout.addLayout(right_panel, 30)  # 右侧占30%宽度

        # 连接信号与槽
        self.start_btn.clicked.connect(self.start_detection)
        self.stop_btn.clicked.connect(self.stop_detection)
        self.reset_btn.clicked.connect(self.reset_counts)
        self.ear_spin.valueChanged.connect(self.update_ear_threshold)
        self.mar_spin.valueChanged.connect(self.update_mar_threshold)

    def initCamera(self):
        self.cap = cv2.VideoCapture(0)
        self.timer = QTimer()
        self.timer.timeout.connect(self.update_frame)

    # 后续需要实现 start_detection, stop_detection, update_frame 等方法
    # ...

这个界面布局已经具备了基本的功能分区。接下来,我们需要实现核心的检测逻辑并将其与界面更新绑定。

4.2 连接检测逻辑与界面更新

在LivenessDetectionApp类中,我们需要完善几个关键方法:

  • update_frame: 这是定时器触发的函数,负责从摄像头抓取一帧,进行人脸检测、关键点定位、EAR/MAR计算、动作判断,最后将处理后的图像显示在QLabel上,并更新界面上的计数和信息。
  • start_detection/stop_detection: 控制检测的开始与停止,实际上就是启动和停止定时器。
  • reset_counts: 重置眨眼和张嘴的计数器。
  • update_ear_threshold/update_mar_threshold: 当用户通过SpinBox调整阈值时,更新内部的阈值变量。

由于将OpenCV的图像(BGR格式)显示在PyQt的QLabel上需要格式转换,这里提供一个update_frame方法的简化框架:

    def update_frame(self):
        ret, frame = self.cap.read()
        if not ret:
            return

        # 转换为灰度图进行人脸检测
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        faces = self.detector(gray, 0)

        for face in faces:
            landmarks = self.predictor(gray, face)
            landmarks = np.array([[p.x, p.y] for p in landmarks.parts()])

            # 1. 提取眼睛和嘴巴关键点
            left_eye = landmarks[self.LEFT_EYE_START:self.LEFT_EYE_END]
            right_eye = landmarks[self.RIGHT_EYE_START:self.RIGHT_EYE_END]
            mouth = landmarks[self.MOUTH_START:self.MOUTH_END]

            # 2. 计算EAR和MAR
            left_ear = eye_aspect_ratio(left_eye)
            right_ear = eye_aspect_ratio(right_eye)
            ear = (left_ear + right_ear) / 2.0
            mar = mouth_aspect_ratio(mouth)

            # 3. 根据阈值和连续帧计数判断动作
            # ... (此处嵌入之前章节的眨眼和张嘴判断逻辑)
            # 更新 self.blink_count 和 self.mouth_open_count

            # 4. 在图像上绘制关键点、轮廓和文字信息
            # 绘制眼睛轮廓
            for (x, y) in left_eye:
                cv2.circle(frame, (x, y), 2, (0, 255, 0), -1)
            for (x, y) in right_eye:
                cv2.circle(frame, (x, y), 2, (0, 255, 0), -1)
            # 绘制嘴巴轮廓
            for (x, y) in mouth:
                cv2.circle(frame, (x, y), 2, (255, 0, 0), -1)
            # 显示数值和计数
            cv2.putText(frame, f"EAR: {ear:.2f}", (10, 30),
                        cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 0), 2)
            cv2.putText(frame, f"MAR: {mar:.2f}", (10, 60),
                        cv2.FONT_HERSHEY_SIMPLEX, 0.7, (255, 0, 0), 2)
            cv2.putText(frame, f"Blinks: {self.blink_count}", (10, 90),
                        cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 255), 2)
            cv2.putText(frame, f"Mouth Opens: {self.mouth_open_count}", (10, 120),
                        cv2.FONT_HERSHEY_SIMPLEX, 0.7, (255, 255, 0), 2)

            # 5. 根据选择的测试模式,在图像上显示提示
            if self.blink_test_radio.isChecked() and ear < self.ear_threshold:
                cv2.putText(frame, "眨眼测试通过!", (frame.shape[1]//2 - 100, 30),
                            cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 3)
            elif self.mouth_test_radio.isChecked() and mar > self.mar_threshold:
                cv2.putText(frame, "张嘴测试通过!", (frame.shape[1]//2 - 100, 30),
                            cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 3)

        # 将OpenCV的BGR图像转换为Qt支持的RGB格式,并显示在QLabel上
        rgb_image = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
        h, w, ch = rgb_image.shape
        bytes_per_line = ch * w
        qt_image = QImage(rgb_image.data, w, h, bytes_per_line, QImage.Format_RGB888)
        self.video_label.setPixmap(QPixmap.fromImage(qt_image).scaled(
            self.video_label.size(), Qt.KeepAspectRatio, Qt.SmoothTransformation))

        # 更新右侧信息面板
        self.update_info_display(ear, mar)

    def update_info_display(self, ear, mar):
        info_text = f"当前EAR: {ear:.3f}\n当前MAR: {mar:.3f}\n"
        info_text += f"眨眼计数: {self.blink_count}\n张嘴计数: {self.mouth_open_count}"
        self.info_display.setText(info_text)
        self.blink_count_label.setText(f"眨眼次数: {self.blink_count}")
        self.mouth_count_label.setText(f"张嘴次数: {self.mouth_open_count}")

最后,在主程序中启动应用:

if __name__ == '__main__':
    app = QApplication(sys.argv)
    ex = LivenessDetectionApp()
    ex.show()
    sys.exit(app.exec_())

运行这个程序,你应该能看到一个带有视频预览、控制按钮、参数调整和状态显示的综合界面。点击“开始检测”,对着摄像头眨眼或张嘴,程序就会实时识别并计数。

5. 优化策略与常见问题排查

一个能跑起来的Demo只是第一步,要让它在实际场景中更可靠,我们还需要考虑一些优化和鲁棒性处理。

5.1 提升检测的准确性与鲁棒性

  • 多帧平滑与阈值自适应:单帧的EAR/MAR值可能会因为头部轻微转动、光照变化或检测误差而波动。我们可以采用移动平均法,计算最近N帧(比如5帧)的EAR/MAR平均值,用这个平滑后的值进行判断,能有效减少误触发。
  • 人脸丢失处理:在视频流中,人脸可能短暂移出画面或被遮挡。当连续若干帧检测不到人脸时,应该重置所有的动作计数器(blink_counter, mouth_counter)和状态,避免将非人脸区域的抖动误判为动作。
  • 头部姿态归一化:当用户头部不是正对摄像头时,关键点的距离计算会失真。一个进阶的优化思路是进行简单的头部姿态估计,对关键点坐标进行旋转校正,使计算基于一个“正面化”的人脸。
  • 光照预处理:在光线较暗或不均匀的环境下,人脸检测和关键点定位可能失败。可以在图像处理环节加入直方图均衡化或自适应阈值等预处理步骤,增强图像对比度。

5.2 调试与参数调优

在实际使用中,你可能会遇到检测不灵敏或误触发的问题。大部分问题可以通过调整阈值和连续帧数来解决。

  • EAR_THRESHOLD (眨眼阈值):通常设置在0.15到0.3之间。如果眨眼检测不到,尝试调低这个值;如果总是误报眨眼(比如眯眼),尝试调高。
  • MAR_THRESHOLD (张嘴阈值):通常设置在0.5到0.8之间。同样,根据张嘴的幅度来调整。
  • CONSECUTIVE_FRAMES (连续帧数):这个参数用于防抖。值越大,判断一次动作所需的条件越严格,误报越少,但也可能漏掉快速的动作。对于眨眼,2-3帧比较合适;对于张嘴,可以设为3-5帧。

一个实用的调试方法是,在界面上实时显示EAR和MAR的数值,让你在调整参数时能直观地看到当前动作对应的数值范围。

5.3 扩展思路:点头与摇头检测

虽然本文聚焦于眨眼和张嘴,但基于同样的关键点思路,我们也可以实现点头和摇头检测。

  • 点头检测:可以跟踪鼻子尖端(点30)相对于面部中心或两眼中心点的垂直位置变化。当垂直位移超过一定阈值并符合一定的运动模式(先下后上),可以判断为点头。
  • 摇头检测:可以跟踪面部两侧关键点(如点1和点17,即脸颊最左和最右点)的水平位置变化。当水平位移呈现左右摆动的模式时,可以判断为摇头。

实现这些动作检测需要引入时间序列分析,比如计算关键点在连续帧中的位移向量,并判断其运动轨迹是否符合预设的模式。这比简单的阈值判断要复杂一些,但原理是相通的。

6. 项目打包与部署建议

当你完成了开发和测试,可能希望将程序分享给别人使用,或者部署到没有Python环境的机器上。这时就需要将项目打包成可执行文件。

6.1 使用PyInstaller打包

PyInstaller是一个常用的Python打包工具,它可以将Python脚本及其所有依赖项打包成一个独立的可执行文件。

首先,安装PyInstaller:

pip install pyinstaller

然后,在你的项目根目录下,使用以下命令进行打包:

pyinstaller --onefile --windowed --add-data "models/shape_predictor_68_face_landmarks.dat;models" your_main_script.py

参数解释:

  • --onefile: 将所有文件打包成一个单独的exe文件。
  • --windowed: 对于GUI程序,避免显示控制台窗口。
  • --add-data: 将模型文件等资源文件添加到打包中。源路径;目标路径的格式,在Windows上用分号;,在macOS/Linux上用冒号:。
  • your_main_script.py: 你的主程序入口文件。

打包完成后,在dist文件夹里会生成可执行文件。记得将models文件夹(包含.dat模型文件)与可执行文件放在同一目录下,或者确保在代码中使用了正确的相对路径来加载模型。

6.2 性能考量与资源管理

  • CPU占用:Dlib的人脸检测和关键点预测在CPU上运行。在低性能设备上,可能会感到卡顿。可以考虑降低视频帧率(如从30fps降到15fps),或者缩小输入图像的尺寸再进行检测。
  • 模型文件:shape_predictor_68_face_landmarks.dat文件大约100MB。如果对程序体积敏感,可以考虑使用Dlib提供的5点关键点模型(shape_predictor_5_face_landmarks.dat),它体积小很多,但只包含眼睛和鼻子中心点,无法用于张嘴检测。
  • 代码结构:对于更复杂的项目,建议将检测逻辑封装成独立的类或模块,将UI逻辑与业务逻辑分离,这样代码更清晰,也便于维护和扩展。

这个基于Dlib关键点的活体检测方案,以其轻量、直观和易于实现的特点,非常适合作为入门计算机视觉和交互式应用开发的练手项目。它虽然不如基于深度学习的方案在复杂攻击场景下鲁棒,但在很多要求快速验证和低成本部署的场景下,已经能提供相当有效的防护。希望这篇文章能帮你打开思路,动手做出属于自己的第一个活体检测应用。

疲劳检测-眼睛,嘴巴 疲劳检测 EYE_AR_THRESH是眼睛的长宽比的阈值表示眨眼的阈值,我们默认它的值为 0.3,如果眼睛的长宽比小于了0.3则表示眨眼 EYE_AR_CONSEC_FRAMES常数:眼睛连续闭合的帧数触发警报的阈值,如果眼睛连续闭合的帧数大于触发警报的阈值的话则发出音频警告 如果眼睛闭上足够的连续帧数,则发出警报 张嘴检测 # import the necessary packages from scipy.spatial import distance as dist from imutils 阅读详情

相关推荐

EOG眼电信号(眨眼检测)

任务需求: 1、看懂程序,理解眼电数据处理; 2、把程序完善,现在eog.py是一个校准的文件 3、在此基础上,写一个检测是否有眨眼的程序 数据集解析: 根据程序观察对数据集数据进行了解,使用EDFbrowser软件对5个数据集进行数据观看并分析 *EOG是采集的眼电信号 event是时钟打标(同步信号) 此图为病人的眼电信号数据图,眨眼动作眼电信号会进行一个赋值跳变,打标点基本把每个眨眼动作分离。 程序理解: 进入程序进行程序理解,代码算法实现逻辑为,首先将眼电数据进行读入,利用打标点判断进行分

qq_28810395的博客 9770

人脸眨眼检测:Real-Time Eye Blink Detection using Facial Landmarks

Real-Time Eye Blink Detection using Facial Landmarks 使用面部关键点进行实时眨眼检测 摘要: 本文提出了一种检测标准摄像机视频序列中眨眼的实时算法。在野外数据集上训练的地标式探测器对照相机的头部方向、不同的光照和面部表现表现出良好的鲁棒性。实验表明,如果关键点被精确地检测到,足以可靠地预测出睁开眼睛的水平。因此,该算法估计关键点位置,提取一个标量量-眼睛长宽比(EAR),用来描述每个帧中的睁开度。最后,SVM分类器在短时间窗口中检测眼睛眨眼作为EAR值的模

uncle_ll的博客 6134

26、图像分类中的神经网络技术详解

本文详细解析了图像分类中使用的神经网络技术,涵盖神经网络初始化方法(如Xavier和He初始化),卷积神经网络(CNN)的原理、结构与经典架构LeNet-5,深度学习的应用领域及突破性发展。此外,还介绍了使用C++库(如Dlib、Shogun、Shark-ML和PyTorch C++ API)构建神经网络的方法,包括回归任务和图像分类任务的实现示例。最后总结了相关技术的优势、适用场景及未来发展方向。

u9v0w的博客 51

人脸检测实战高级:使用 OpenCV、Python 和 dlib 完成眨眼检测

为什么这个方程如此有趣?好吧,正如我们将发现的那样,眼睛睁开时眼睛的纵横比大致恒定,但在眨眼时会迅速降至零。使用这个简单的方程,我们可以避免使用图像处理技术,而只需依靠眼睛界标距离的比率来确定一个人是否在眨眼。为了更清楚地说明这一点,请考虑 Soukupová 和 Čech 的下图:在左上角,我们有一个完全睁开的眼睛——这里的眼睛纵横比会很大(r)并且随着时间的推移相对恒定。然而,一旦人眨眼(右上),眼睛的纵横比就会急剧下降,接近于零。下图绘制了视频剪辑的眼睛纵横比随时间变化的图表。 正如我们所看到的,眼睛

2301_82244389的博客 1636

50、基于运动向量方差的眨眼检测方法

本文提出了一种基于运动向量方差的眨眼检测方法,利用KLT跟踪器群提取眼睛区域的局部运动向量,并通过状态机识别眨眼动作。该方法无需进行头部运动补偿,对常见面部动作具有不变性。实验在新引入的Eyeblink8数据集以及Talking Face和ZJU数据集上进行,结果表明该方法在多个指标上表现优异,尤其在Talking Face数据集上实现了高达99%的平均准确率。文章还讨论了当前方法的局限性,并提出了未来优化的方向。

elastic6hunter的博客 125

Python教室考勤系统:人脸检测+活体验证+PyQt5多线程全栈实现

人脸考勤系统是教育信息化中典型的身份核验应用场景,其核心在于融合人脸检测、特征提取与活体防伪三大技术环节。基于OpenCV的ResNet-SSD模型提供高鲁棒性实时检测能力,FaceNet嵌入向量实现精准身份匹配,dlib眨眼分析支撑可靠活体验证——三者协同构成端到端识别闭环。该方案兼顾边缘设备部署效率与工程落地稳定性,适用于高校智慧教室、教务系统集成及课程设计实践。文中深入剖析PyQt5多线程视频流处理、MySQL事务防重写入、动态阈值校准等关键工程细节,直击‘识别抖动’‘界面卡死’‘照片攻击’等真实痛点

weixin_29055699的博客 73

Python人脸识别考勤系统:闭环工程实践与毕设落地指南

人脸识别考勤系统本质上是融合计算机视觉、数据库设计与桌面应用开发的典型业务闭环系统。其核心原理在于通过人脸检测、特征编码与相似度匹配实现身份验证,技术价值突出体现在轻量化部署、强鲁棒性与高可解释性——尤其适配毕业设计场景下的硬件限制与答辩需求。常见应用场景包括教室门禁、实验室签到、小型办公考勤等单机离线环境。本文聚焦真实工程细节,深入解析OpenCV Haar级联检测、face_recognition特征提取、SQLite并发写入控制及PySide6 QML界面构建等关键技术选型逻辑,并围绕‘光照突变’‘口

weixin_42701915的博客 264

Python多人人脸识别课堂考勤系统:算法原理与工程实现

人脸识别技术正从门禁核验延伸到课堂考勤等场景,其核心是先通过检测算法定位人脸区域,再提取特征向量完成身份比对。基于Python的多人人脸识别考勤系统,利用OpenCV对教室画面做多人脸检测,借助face_recognition提取128维特征,并通过欧氏距离阈值判断和滑窗投票机制去重,实现整班学生同时签到。相比云端API,离线本地处理在成本、隐私和实时性上更具优势,适合课程设计、毕业设计及学院离线考勤工具开发。本文从架构选型、阈值设定、注册入库到考勤落库,完整拆解多人识别考勤系统的工程要点,并针对光线干扰、

weixin_33895516的博客 397

【人脸识别项目一】:眨眼检测

项目背景 眨眼检测是我在卓朗科技实习期间做的第二个项目,这个项目做了大概一个多月的时间,从2019/7/21到2019/8/28才算基本完成眨眼检测的算法模型。眨眼检测主要用于上班的打卡软件上,有的打卡软件上有人脸识别,通过眨眼识别可以防止有人通过照片冒充人脸欺骗打卡软件,另一方面也可以通过眨眼拍照增加用户与打卡产品的互动性,使员工的打开过程更加方便。 项目过程 dlib关键点检测 眨眼的定义...

认真写的博客 1万+

Python人脸识别签到系统:毕设可用的工程级实现

人脸识别是计算机视觉的基础应用,其核心在于人脸检测、特征提取与相似度比对三大技术环节。在实际落地中,算法精度需让位于工程稳定性、部署轻量性和环境鲁棒性——尤其在教室、实训室等资源受限场景下,纯CPU可运行、低延迟、抗光照变化、支持并发签到的方案更具实用价值。本系统基于OpenCV与face_recognition构建,聚焦python工程实践,通过ROI动态裁剪、YUV空间光照自适应预处理、内存级特征缓存及SQLite WAL模式优化等关键技术,显著提升识别稳定性与系统吞吐。适用于高校毕设开发、智慧教室考勤

weixin_30235225的博客 686

FaceNet+PyQt考勤系统:CPU实时人脸识别与SQLite持久化

人脸识别考勤系统本质是度量学习在边缘场景的工程落地——FaceNet通过 triplet loss 构建128维紧凑人脸嵌入,实现同人特征聚类、异人特征分离;其预训练模型可直接加载推理,配合余弦相似度比对,在无GPU环境下保持鲁棒性;PyQt作为事件驱动GUI框架,需结合QThread与LRU缓存规避主线程阻塞;SQLite启用WAL模式与合理PRAGMA配置,支撑千人级考勤数据高频写入与事务安全。本方案聚焦本科生毕设可交付性,覆盖模型加载、特征提取、多线程调度、本地数据库设计及跨平台部署全链路。

weixin_30824479的博客 546

eye blink detect眨眼检测算法

眨眼检测算法有很多种,但准确率都有很大提高空间。此摘录几种简单的判断方法: 一:基于阀值的 http://www.cpe.ku.ac.th/~jeab/papers/chinnawat_JCSSE2009.pdf 当眼完全闭上时、需要更高的阀值才能找到一个联通区(media blur后) 二:简单逻辑判断法 https://github.com/madhurjain/Trac

kastolo的专栏 1万+

SAP ABAP MIGO增强实战:自定义页签与字段的完整实现指南

本文详细介绍了SAP ABAP中MIGO增强的实战指南,包括自定义页签与字段的完整实现步骤。通过BADI增强技术,开发者可以快速满足企业个性化需求,如添加供应商批次号等特殊字段。文章涵盖数据存储结构设计、BADI框架实现、核心方法编写及数据持久化方案,帮助用户高效完成MIGO屏幕增强开发。

study的专栏 779

python dlib学习(十一):眨眼检测

前言 我们要使用opencv和dlib实现在视频流中实时检测和计数眨眼次数。 参考论文:Real-Time Eye Blink Detection using Facial Landmarks 作者在这篇文章中提出了一个眼睛纵横比(eye aspect ratio (EAR))的概念,通过计算这个EAR的数值,我们可以判断眼睛是张开还是闭合,从而检测眨眼动作。 首先,参考别人翻译的这篇文章

hongbin_xu的博客 4万+

保姆级教程:手把手教你从NASA Earthdata下载ASTER L2地表温度数据(附shp文件拖拽技巧)

本文提供了一份详细的NASA Earthdata平台ASTER L2地表温度数据下载教程,涵盖账号注册、数据筛选、shp文件拖拽技巧及质量检查等关键步骤。特别适合遥感领域初学者,帮助快速掌握高效获取ASTER L2T数据的方法,适用于城市热岛效应和农业监测等研究。

weixin_30736301的博客 474

深入解析MSPM0系列Keil开发中‘ti_msp_dl_config.h‘缺失问题的根源与修复

本文深入解析TI MSPM0系列Keil开发中'ti_msp_dl_config.h'文件缺失问题的根源与修复方法。该错误常见于编译时提示file not found,主要因SysConfig工具未正确生成或工程路径配置错误导致。文章提供了从环境检查、手动生成文件到工程配置调整的系统化解决方案,帮助开发者快速解决这一常见KEIL开发难题。

gold的博客 973

【python】活体检测

1 眨眼检测代码 from scipy.spatial import distance as dist from imutils import face_utils import numpy as np import face_recognition import dlib import cv2 import os def eye_aspect_ratio(eye): A = di...

静谧、淡雅 1104

科研绘图神器Origin2024最新中文版安装教程:5分钟搞定所有配置

本文提供了一份详细的Origin2024中文版安装与配置指南。从系统环境核查、安装包获取验证,到分步安装、语言切换及关键初始设置,手把手教你5分钟完成所有基础配置。同时,指南还分享了首次启动后的个性化设置与高效绘图工作流,助你快速上手这款科研绘图神器,提升数据处理与图表制作效率。

weixin_29247219的博客 1049

【无标题】

从初始的状态机到最终的动态混合模型,每一次迭代都体现了工程优化的核心原则:**以数据驱动代替直觉假设,

Leroi64的博客 1025

基于角谱传播的MATLAB仿真:从相位恢复看自由空间光传播

本文详细介绍了基于角谱传播理论的MATLAB仿真方法,用于模拟自由空间光传播过程。通过傅里叶光学原理,将光场分解为频谱并应用传播相位滤波器,实现了从纯相位物体到可观测衍射图样的仿真。文章结合具体代码,演示了如何利用角谱法进行相位恢复,为计算成像和生物医学检测等领域的研究提供了实用的仿真工具和思路。

weixin_29055699的博客 284

达梦数据库JDBC连接池断开自动重连设置

一、场景 在网络状况不是非常良好,经常会出现暂时性的拥塞或者断开的情况,而且当我们重启数据库时也会发生类似的情况。所以需要配置中间件的连接池来实现连接测试以及自动重连,通过重新配置连接池,成功解决了这个问题。下面会给出一份数据源配置参数详单和一份推荐的数据源配置项。 二、连接池配置参数 1. initialSize:连接池启动时创建的初始化连接数量 2. maxActive:连接池中可同时连接的最大的连接数 3. maxIdle:连接池中最大的空闲的连接数,超过的空闲连接将被释放,如果设置为负

lilv1989的博客 7237

从生物力学到算法:揭秘眨眼、张嘴动作在活体检测中的科学原理

本文深入探讨了面部微动作(如眨眼、张嘴)在活体检测中的科学原理与技术应用。通过分析生物力学特征与算法实现,揭示了如何将面部肌肉运动转化为数字信号以区分真实用户与伪造攻击,为数字身份认证提供了关键技术支持。

weixin_29091445的博客 289

QEMU源码全解析 —— virtio(3)

QEMU源码全解析 —— virtio(3)

phmatthaus的专栏 1853

保姆级教程:用Python+OpenCV+Dlib实现实时眨眼检测(附完整代码与避坑指南)

本文提供了一份详细的Python+OpenCV+Dlib实时眨眼检测实现教程,涵盖环境配置、核心算法(如EAR计算)和性能优化技巧。通过面部关键点检测技术,系统可准确识别眨眼动作,适用于疲劳驾驶预警、活体检测等场景。附完整代码与常见问题解决方案,助您快速构建工业级应用。

weixin_28680865的博客 227

9.4 Ollama私有化部署实战:6大场景玩转本地大模型管理

Ollama 是一款强大的私有化大模型管理工具,适用于多种本地化部署场景。在本地开发测试中,开发者可以通过 Ollama 快速启动大模型服务,支持轻量化模型和即时切换不同版本。企业内部私有化部署时,Ollama 提供完整的解决方案,支持多模型管理和 API 鉴权。在边缘计算场景中,Ollama 可以在物联网设备端部署轻量化模型,实现实时推理。研究人员可以利用 Ollama 进行多模型实验对比,快速评估不同模型的性能。高校实验室可以通过 Ollama 构建定制化研究环境,支持教学实验。对于数据隐私敏感行业,O

yonggeit的博客 3324

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

OpenCV实战:人眼检测+眨眼计数

OpenCV实战:快速实现人眼检测和眨眼计数

weixin_44686138的博客 3981

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

上一篇: ROS仿真机器人实战:用Xacro+Arbotix在Rviz中打造会转圈的小车(附完整配置文件)
下一篇: IEC104规约进阶:104报文类型定义的常见误区与调试技巧
water
博客等级 码龄27年 1315粉丝 2486原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址