优化python程序执行速度

Nuitka,一个超厉害的 Python 库 Nuitka是一款可以将 Python 代码编译成 C++ 代码的工具,从而大幅提升程序执行效率。 阅读详情

1、问题背景

     最近使用python编写的一个蓝牙应用程序,在使用过程中发现传输大量数据时会产生丢包,导致无法接收到完整的数据包。蓝牙接收程序的代码如下。

#蓝牙数据接收处理线程
    def bt_recv_thread(self):
        recv_time = time.time()
        while(self.thread_run):
            try:
                recv_data = self.client_socket.recv(1024)
            except Exception as e:
                self.log.logprint(e)
                self.client_socket.close()
                self.client_socket = None
                self.thread_run = False
                break
            #print("recv data:", recv_data.hex())

            #接收2秒超时,清除原来的接收数据
            if(time.time() - recv_time) > 2 and self.recv_index != 0:
                self.log.logprint("recv data timeout, index:%d, msg_len:%d"%(self.recv_index, self.msg_len))  
                self.recv_index = 0
                self.msg_len = 0  
            recv_time = time.time()

            for d in recv_data:
                if d.to_bytes(1, "little") == T95_BT_HEAD_1 and self.recv_index == 0:
                    self.msg_len = 0
                    self.recv_index = 1
                    self.recv_msg = d.to_bytes(1, "little")

                elif d.to_bytes(1, "little") == T95_BT_HEAD_2 and self.recv_index == 1:
                    self.recv_index = 2
                    self.recv_msg += d.to_bytes(1, "little")

                elif d.to_bytes(1, "little") == T95_BT_HEAD_3 and self.recv_index == 2:
                    self.recv_index = 3
                    self.recv_msg += d.to_bytes(1, "little")    

                elif d.to_bytes(1, "little") == T95_BT_HEAD_4 and self.recv_index == 3:
                    self.recv_index = 4
                    self.recv_msg += d.to_bytes(1, "little") 

                #8-15是报文总长度, 占用8个字节
                elif self.recv_index == 15:
                    self.recv_msg += d.to_bytes(1, "little")
                    self.recv_index += 1 
                    self.msg_len = int.from_bytes(self.recv_msg[8:16], byteorder="big")     

                #接收到帧尾,并且长度等于帧头
                elif self.recv_index == (self.msg_len - 1) and d.to_bytes(1, "little") == T95_BT_TAIL:
                    self.recv_msg += d.to_bytes(1, "little")
                    self.recv_index = 0

                    #处理消费一个整帧数据,计算数据CRC
                    crc = int.from_bytes(self.recv_msg[-5:-1], byteorder="big")

                    if crc != self.CRC32_cacl(self.recv_msg[:-5]):
                        self.log.logprint("CRC 32 error!") 
                        continue

                    #判断数据帧类型
                    msg_type = int.from_bytes(self.recv_msg[16:20], byteorder="big")
                    seq = int.from_bytes(self.recv_msg[5:7], byteorder="big")
                    if msg_type == T95_BT_MSG_TYPE_CON_REQ:
                        #局放主动发送的心跳数据,回复应答
                        self.send_t95(T95_BT_MSG_TYPE_CON_ACK, T95_BT_ACK_FLAG, seq, b"", b"")

                    elif msg_type == T95_BT_MSG_TYPE_DATA_UPLOAD:
                        #局放主动发送的检测数据,回复应答
                        self.send_t95(T95_BT_MSG_TYPE_DATA_ACK, T95_BT_ACK_FLAG, seq, b"", b"") 
                        msg_len  = int.from_bytes(self.recv_msg[39:47], "big")
                        msg_data = self.recv_msg[47:47+msg_len]

                        file_len = int.from_bytes(self.recv_msg[47+msg_len:55+msg_len], "big")
                        file_data = self.recv_msg[msg_len+55: msg_len+55+file_len]
                        
                        #通过回调函数来处理业务数据与文件
                        if self.check_file_notify_call != None:
                            self.check_file_notify_call(msg_data, file_data)       
                    else:
                        #发送给其他线程处理   
                        self.rcv_sem.release()

                else:
                    self.recv_msg += d.to_bytes(1, "little")
                    self.recv_index += 1

     首先怀疑的是代码逻辑有问题,经过阅读代码与测试,发现代码逻辑正确。其次怀疑设备的蓝牙驱动程序有问题,使用了手机与设备进行蓝牙文件传输也正常。把这份代码移植到笔记本电脑上面运行,测试大数量时依然为丢包。

     最后怀疑代码执行慢了,导致未能及时从蓝牙设备中读取到接收的数据。

2、解决办法

      分析代码,代码中变量self.recv_msg使用bytes字节串来存储接收到的数据,程序首先从蓝牙设备中读取数据存储在recv_data字节串中,之后遍历整个字节串,把数据放到self.recv_msg中去。

      理论分析:由于bytes是不可变字节串,self.recv_msg += d.to_bytes(1, "little")这名代码相当把字节串与一个新的字节串d.to_bytes(1, "little")连接形成一个新的字节串,这此操作中一共要处理3个字节串,都需要在内存中创建这三个字节串,随着接收数据量的变大,会耗费更多的时间处理。

  理论验证:编写python程序测试list, bytes, bytearray三种数据类型在大数据量时的处理速度,测试的数据量为100万个数据。

#! /usr/bin/python3.8
# -*- coding: utf-8 -*-

import time

num = 1000000
a = []
b = bytearray()
bb = b"\x02" * num
d = b""

start_time = time.time()
for i in range(num):
    a.append(i&0xff)

stop_time = time.time()
print("list start time:%d, end time:%ds, pass:%fs"%(start_time, stop_time, stop_time-start_time))   

start_time = time.time()
for i in bb:
    b.extend((i&0xff).to_bytes(1, "little"))

stop_time = time.time()    
print("bytearray start time:%d, end time:%ds, pass:%fs"%(start_time, stop_time, stop_time-start_time))


start_time = time.time()
for i in bb:
    d +=(i&0xff).to_bytes(1, "little")

stop_time = time.time()    
print("byte start time:%d, end time:%ds, pass:%fs"%(start_time, stop_time, stop_time-start_time))


c = bytes(b)
print("bytearray",b[0:5])   
print("int",int.from_bytes(b[0:5], byteorder="big")) 
for i in c:
    d = i
print("bytes", c[0:23])

    代码的运行结果如下:

     从以上结果可以看出,处理100万个数据时,list速度最快,用时0.126秒,bytearray,居中,用时0.270秒, bytes最慢,用于98秒。根据程序的处理数据的需要,代码改动少的情况下使用bytearray来处理,可以提高处理速度。改进后的代码如下:

#蓝牙数据接收处理线程
    #由于bytes是不可变序列,因此在做增加操作时,会新生成一个bytes导致程序处理速度很慢,因此使用可变序列bytearray
    def bt_recv_thread(self):
        recv_time = 0
        while(self.thread_run):
            try:
                recv_data = self.client_socket.recv(1024)
            except Exception as e:
                self.log.logprint(e)
                self.thread_run = False
                break
            #print("recv data:", recv_data.hex())

            #接收2秒超时,清除原来的接收数据
            if self.recv_index != 0 and (time.time() - recv_time) > 2:
                self.log.logprint("recv data timeout, index:%d, msg_len:%d"%(self.recv_index, self.msg_len))  
                self.recv_index = 0
                self.msg_len = 0  
            recv_time = time.time()

            for d in recv_data:
                d_bytes = d.to_bytes(1, "little")
                if d_bytes == T95_BT_HEAD_1 and self.recv_index == 0:
                    self.msg_len = 0
                    self.recv_index = 1
                    self.recv_msg = bytearray(d_bytes)

                elif d_bytes == T95_BT_HEAD_2 and self.recv_index == 1:
                    self.recv_index = 2
                    self.recv_msg.extend(d_bytes)

                elif d_bytes == T95_BT_HEAD_3 and self.recv_index == 2:
                    self.recv_index = 3
                    self.recv_msg.extend(d_bytes)    

                elif d_bytes == T95_BT_HEAD_4 and self.recv_index == 3:
                    self.recv_index = 4
                    self.recv_msg.extend(d_bytes) 

                #8-15是报文总长度, 占用8个字节
                elif self.recv_index == 15:
                    self.recv_msg.extend(d_bytes)
                    self.recv_index += 1 
                    self.msg_len = int.from_bytes(self.recv_msg[8:16], byteorder="big")     

                #接收到帧尾,并且长度等于帧头
                elif self.recv_index == (self.msg_len - 1) and d_bytes == T95_BT_TAIL:
                    self.recv_msg.extend(d_bytes)
                    self.recv_index = 0

                    #处理消费一个整帧数据,计算数据CRC
                    crc = int.from_bytes(self.recv_msg[-5:-1], byteorder="big")

                    if crc != self.CRC32_cacl(self.recv_msg[:-5]):
                        self.log.logprint("CRC 32 error!") 
                        continue
                    self.log.logprint("receive the data len:%d"%(self.msg_len))
                    #判断数据帧类型
                    msg_type = int.from_bytes(self.recv_msg[16:20], byteorder="big")
                    seq = int.from_bytes(self.recv_msg[5:7], byteorder="big")
                    if msg_type == T95_BT_MSG_TYPE_CON_REQ:
                        #局放主动发送的心跳数据,回复应答
                        self.send_t95(T95_BT_MSG_TYPE_CON_ACK, T95_BT_ACK_FLAG, seq, b"", b"")

                    elif msg_type == T95_BT_MSG_TYPE_DATA_UPLOAD:
                        #局放主动发送的检测数据,回复应答
                        self.send_t95(T95_BT_MSG_TYPE_DATA_ACK, T95_BT_ACK_FLAG, seq, b"", b"") 
                        msg_len  = int.from_bytes(self.recv_msg[39:47], "big")
                        msg_data = self.recv_msg[47:47+msg_len]

                        file_len = int.from_bytes(self.recv_msg[47+msg_len:55+msg_len], "big")
                        file_data = self.recv_msg[msg_len+55: msg_len+55+file_len]
                        
                        #通过回调函数来处理业务数据与文件
                        if self.check_file_notify_call != None:
                            self.check_file_notify_call(msg_data, file_data)       
                    else:
                        #发送给其他线程处理   
                        self.rcv_sem.release()

                else:
                    self.recv_msg.extend(d_bytes)
                    self.recv_index += 1
        self.client_socket.close()
        self.client_socket = None

     经过以上的代码优化和测试后,蓝牙传输大量数据时不再丢包,完美解决问题。

优化Python程序执行效率的技巧与示例代码 通过使用适当的数据结构、减少循环次数、缓存重复计算的结果、使用并行处理以及选择合适的算法和库,我们可以有效地提高Python程序的执行效率。然而,需要注意的是,优化程序的执行效率并不是一成不变的,需要根据具体情况进行调整和优化。优化程序的执行效率可以提高程序的运行速度,减少资源消耗,并改善用户体验。Python拥有丰富的标准库和第三方库,通过选择高效的算法和使用优化过的库函数,可以显著提高程序的执行效率。为了避免重复计算,可以使用缓存来存储已经计算过的结果,以便在需要时直接获取,从而提高程序的执行效率。 阅读详情

相关推荐

如何提高Python程序的执行速度

因此,在进行优化之前,建议先进行性能分析,确定性能瓶颈所在,然后有针对性地进行优化。另外,还可以考虑使用一些第三方库或者框架来加速特定领域的计算,如TensorFlow、PyTorch等。在选择数据结构时,要根据具体需求来决定使用哪种数据结构,以提高程序的效率。例如,如果需要频繁地进行元素的插入和删除操作,可以使用链表代替列表,因为链表的插入和删除操作复杂度较低。使用生成器(Generator):生成器是一种特殊的迭代器,可以按需生成数据,而不是一次性生成所有数据。

BugHunterX的博客 282

BlueZ双模蓝牙音频卡顿问题优化

基于BlueZ蓝牙开源协议栈的音频卡顿问题优化。

Dokin 1884

嫌Python慢,这个AI分析器帮你检测、建议优化,获OSDI最佳论文

Emery Berger 是马萨诸塞大学阿默斯特分校信息与计算机科学学院的教授,他于 2002 年毕业于德克萨斯大学奥斯汀分校,获得计算机科学博士学位。Berger 教授一直是 Microsoft 研究和加泰罗尼亚理工大学(UPC)/ 巴塞罗那超级计算中心(BSC)的访问科学家。他的研究涉及编程语言、运行时系统和操作系统,尤其关注如何提高系统的可靠性、安全性和性能。

leyang0910的博客 192

python中将bytes转换为int一种方法

快速将bytes转换为int的方法 项目上需要快速将网络接收的bytes数据转换为16bit 整形数,网上查过很多资料,一般都是用int.from_bytes函数实现,实验发现,这个函数进行大批量转换时很慢,怎样能加快转换速度呢? 想到用numpy的tofile函数将bytes存入文件,再用fromfile函数将数据从文件中读出,经测试可行,时间缩短很多,数据量越大节约的时间越多,分享给大家。 i...

dyydudu的博客 8468

优化Python程序的执行效率

这是一些提升Python程序执行效率的常用技巧。然而,需要根据具体情况选择合适的优化方法。有时,算法的改进可能比对代码进行微小的优化更加重要。通过合理地选择数据结构、减少不必要的函数调用、使用生成器、并行处理任务等方法,可以显著提高Python程序的执行效率。在Python编程中,执行效率通常是开发者关注的一个重要问题。优化程序的执行效率可以使程序运行更快,提高系统的响应速度。本文将介绍一些提升Python程序执行效率的技巧,并提供相应的源代码示例。

CyberNova的博客 90

论文理解【LLM-Clarification】—— 【QDrawer】Asking the Right Question at the Right Time: Human and Model Unce

本文基于 CoDraw 任务对 LLM 澄清提问的触发方式进行探索,发现模型内部不确定性与人类澄清决策相关性弱,使用不确定性阈值触发澄清提问相比模仿人类提问时机,性能和计算效率都更好

佚失的诗篇 777

Python性能优化与Cython:提升Python程序执行速度

Cython作为Python性能优化的利器,通过将代码编译为C扩展模块,有效解决了Python在计算密集型任务中的性能瓶颈。在数值计算、数据处理和科学计算领域,Cython展现了巨大的潜力。未来,随着Cython功能的不断完善,它将继续为开发者提供强有力的性能支持。无论是新手还是资深开发者,都可以通过Cython进一步探索Python性能优化的无限可能。​如果你正在学习Python,那么你需要的话可以,点击这里👉Python重磅福利:入门&进阶全套学习资料、电子书、软件包、项目源码等等免费分享!

2301_78150559的博客 1225

MIT Cheetah Learning (一):State Estimate 从理论到实践:EKF融合IMU与编码器的状态估计全解析

本文深入解析了MIT Cheetah机器人中基于Extended Kalman Filter的状态估计技术,详细探讨了如何融合IMU与编码器数据以实现精准的State Estimate。通过四元数建模和传感器误差分析,揭示了EKF在复杂地形中的工程实践价值,为四足机器人的实时状态估计提供了完整解决方案。

weixin_30292843的博客 309

利用 psyco 让 Python 程序执行更快

利用 psyco 让 Python 程序执行更快 红薯发表于 2013-1-8 09:05 4个月前,47回/9551阅,最后回答: 3个月前 From: http://www.oschina.net/question/12_86806 Python 和其他的脚本语言在性能上跟一些编译语言(如C语言)比较要差不少,例如这里有两个用 C 和 Python 语言编写的斐波纳契数列计算程序

Hansel的专栏 770

单晶塑性abaqus-umat自学

单晶塑性abaqus-umat 摘要1. 简介2. 单晶弹塑性本构模型回顾2.1运动学 本文以翻译黄永刚老师的umat文章为主,这个颜色的为个人的理解。 摘要 包含单晶塑性的abaqus用户材料子程序。本文回顾有限元形式的单晶弹塑性和黏弹塑性,包含小变形理论,以及严格的有限变形和有限旋转理论。单晶的非弹性变形由于晶体滑移,假定遵从Schmid准则。提出多种多样的分切应力与剪切变形的自硬化和潜硬化关系,并且包含在子程序内。 1. 简介   有限元程序ABAQUS已经广泛应用在固体的变形与应力分析。除了自身大量

Niklas4088的博客 1万+

MATLAB图像去噪实战:如何用巴特沃斯滤波器完美去除横条纹(附完整代码)

本文详细介绍了如何使用MATLAB中的巴特沃斯滤波器有效去除图像中的横条纹噪声。通过频域分析和滤波处理,结合完整的代码示例,帮助读者掌握从噪声分析到参数优化的全流程技术,实现高质量的图像去噪效果。

weixin_30566063的博客 569

chatgpt赋能python:用Python提升程序速度的技巧和方法

本文由chatgpt生成,文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型,只是展现它原本的实力。对于颠覆工作方式的ChatGPT,应该选择拥抱而不是抗拒,未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。

shengcaiy123的博客 147

EMC辐射发射测试:垂直与水平极化测试原理与实战指南

电磁兼容(EMC)测试是确保电子设备在复杂电磁环境中稳定运行的关键环节,其核心在于评估设备产生的电磁干扰(EMI)强度。辐射发射测试作为EMC测试的重要组成部分,通过测量设备向空间辐射的电磁噪声,判断其是否符合国际标准限值。测试原理基于电磁波的极化特性,即电场矢量的振动方向,主要分为垂直极化和水平极化。理解极化特性对于精准定位辐射源、高效进行EMC整改具有重要技术价值。在工程实践中,垂直极化噪声通常源于线缆辐射等垂直结构,而水平极化噪声多来自PCB走线等水平结构。通过分别测量两种极化方向的辐射最大值,可以全

weixin_32770423的博客 370

Python 编译器优化:Peephole Optimizations 及 JIT(PyPy)解析

Peephole Optimizations 是一种局部优化技术,它通过对代码的小范围(即“窥孔”)进行分析和修改来提高程序的执行效率。在 Python 中,这种优化是由内置的编译器完成的。当 Python 源代码被解析为抽象语法树(Abstract Syntax Tree, AST)后,编译器会在生成字节码之前对 AST 进行优化。x = 1 + 2这样做的好处是避免了运行时计算,从而提升了性能。Python 的编译器优化机制是一个多层次、多维度的系统工程。

2501_91245976的博客 1741

STM32 FOC电机控制:手把手教你用CubeMX配置TIM1中心对齐PWM(含代码避坑)

本文详细解析了STM32 FOC电机控制中TIM1中心对齐PWM的配置方法,涵盖CubeMX图形化设置、HAL库代码调用及常见问题排查。特别针对L6230Q驱动芯片的使能逻辑和死区时间配置提供实用指南,帮助开发者高效实现无刷电机的高性能控制。

weixin_27027459的博客 448

搭建ROS小车真的难吗?

搭建ROS小车真的难吗?不难 1.引言 本着为大家谋福利的心态,根据自己以往的开发经验,打算写一个从零开始制作一个可以实现地图构建和导航的ROS小车。目前某宝上面有很多现成产品,但是我个人认为,一个好的移动机器人开发工程师,应该对机器人的整个流程都能具备维护的能力,然后再深入研究其中一个方向即可。看到网上很少有整个系列的开发教程,看到同学们大多东拼西凑,浪费了不少时间。我就想着利用空余时间,将我本人的开发过程输出给大家。有基础理论、有实际工程代码、有丰富的学习资料,尽最大努力帮大家进入移动机器人的大门。 国

「小白学移动机器人」一个专注分享移动机器人相关知识的公众号! 1万+

python珠穆朗玛峰问题_学会这6招,让你的Python 嗖嗖嗖的快!

在后面的程序效率对比上,我们以下面的python程序作为基础对比程序。01.优化编写的代码对于 Python程序,大家可以首先将程序的目的实现,然后在这个基础之上,分析程序执行效率低下的部分并实现优化,然后不断的执行这个分析效率-优化的步骤。对于效率低下的操作,可以采用 Python的内置高阶函数等方式进行加速,如下图所示:上图程序中,我们分别使用for循环函数和 Python内置高阶map函数实...

weixin_39583162的博客 933

LLC 谐振转换器中为什么需要 ( L_m )(励磁电感)

在每个模态中,励磁电感 ( L_m )、谐振电感 ( L_r ) 和谐振电容 ( C_r ) 分别承担着储存和释放能量、维持谐振电流和电压波形的任务。Q1和Q2的交替导通确保了这些元件能够在不同的模态下实现能量的有效传输和谐振状态的维持。励磁电感 ( L_m ) 在这一过程中起着不可或缺的作用,确保了电路的高效运行和稳定性。

weixin_43199439的博客 3659

Python程序执行原理是什么?Python解释器执行哪些操作?

我们都知道,使用C/C++之类的编译性语言编写的程序,是需要从源文件转换成计算机使用的机器语言,经过链接器链接之后形成了二进制的可执行文件。运行该程序的时候,就可以把二进制程序从硬盘载入到内存中并运行。 但是对于Python而言,Python源码不需要编译成二进制代码,它可以直接从源代码运行程序。Python解释器将源代码转换为字节码,然后把编译好的字节码转发到Python虚拟机(PVM)中进行执行。接下来,通过一张图来描述Python程序的执行过程,如图1所示。 图1 Python程序执行原理 在图1中

zihong523的博客 727

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Python C 扩展开发(Cython、ctypes)的实现与优化

无论是 Cython 还是 ctypes,都是连接 Python 和 C 的桥梁,各有优劣。选择哪种方式取决于具体的应用场景和个人偏好。对于需要高性能且愿意投入更多时间学习的新手来说,Cython 是更好的选择;而对于只需要快速原型设计或者已有现成 C 库的项目,ctypes 则更为合适。希望这篇文章能帮助你更好地理解和应用这两种技术,从而写出更高效的 Python 程序!```

2501_91140651的博客 1402

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

上一篇: ubuntu 20.04 RK3568网络的优先级设置
下一篇: RK3568 解决MIPI屏幕开机只显示uboot logo的问题
fhqlongteng
博客等级 码龄20年 1万+粉丝 106原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址