python实现词法分析器

Python实现词法分析(结合fastapi框架) 通过编写一个具体的词法分析程序,加深对词法分析原理的理解。掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。 阅读详情

基于python3 实现一个简单的词法分析器。

主要使用的库:正则表达式、tkinter

识别关键字,标识符,运算符,分界符,数字(整数和浮点数)

当以数字开头时报错,标识符超过8个字符长度时报错

运行结果如下:

词法分析器结果

 有gui界面的源码:

import tkinter as tk
from typing import NamedTuple
import re

class Token(NamedTuple):
    type: str
    value: str
    line: int
    column: int

def tokenize(code):
    keywords = {'if', 'int', 'char', 'for', 'while', 'do', 'return', 'break', 'continue', 'goto', 'float'}
    token_specification = [
        ('NOTES', r'\/\*[\s\S]*\*\/|\/\/.*'),  # 跳过注释
        ('ERROR', r'[0-9]+[A-Za-z_]+|[A-Za-z_]+[@#$%^&?]+[A-Za-z0-9_]*'),  # 标识符不能以数字开头
        ('NUMBER', r'\d+(\.\d*)?'),  # 识别数字
        ('ASSIGN', r'='),  # 赋值运算
        ('END', r';'),
        ('ID', r'[A-Za-z0-9_]+'),  # 识别标识符
        ('OP', r'[+\-*/><]+[+-=]*?'),  # 算术运算符
        ('NEWLINE', r'\n'),  # 行结束
        ('SKIP', r'[ \t]+'),  # 跳过空格和制表符
        ('SEP', r'[#{}"\'!(),\.]'),  # 符号
        ('MISMATCH', r'.'),  # 其他任何字符

    ]
    tok_regex = '|'.join('(?P<%s>%s)' % pair for pair in token_specification)
    line_num = 1
    line_start = 0
    for mo in re.finditer(tok_regex, code):
        kind = mo.lastgroup
        value = mo.group()
        column = mo.start() - line_start
        if kind == 'ERROR':
            kind = f'在第{line_num}行附近发生错误'
        elif kind == 'NUMBER':
            value = float(value) if '.' in value else int(value)
            kind='NUMBER'
        elif kind == 'ID':
            if value in keywords:
                kind = "KEYWORDS"
            elif len(str(value)) > 8:
                kind = f'在第{line_num}行附近发生错误'
            else:
                if s == 'ID':
                    kind = f'在第{line_num}行附近发生错误'
                else:
                    kind = 'ID'
        elif kind == 'NEWLINE':
            line_start = mo.end()
            line_num += 1
            continue
        elif kind == 'SKIP' or kind == 'NOTES':
            continue
        elif kind == 'MISMATCH':
            # raise RuntimeError(f'{value!r} unexpected on line {line_num}')
            kind = f"在第{line_num}行附近发生错误"
        # print(Token(kind, value, line_num, column))
        s = kind
        yield Token(kind, value, line_num, column)

# statements = '''
#     //这是一个测试文档
# #include <stdio.h> //这是编译预处理指令
# int main(){
#     int 1a,ch@ch,a2,sddssdsfsfsfsffsfsfsfsdfsf
#     a = 10.0
#     if int=0;
#     b=a+20
#     printf("Hello, World!"); //输出所指定的一行信息
#     return 0; //函数执行完毕时返回函数值0
# }
# /*这是*/
# '''
# for token in tokenize(statements):
#     print(token)

window=tk.Tk()
window.title('词法分析器')
window.geometry('900x750')

lab1=tk.Label(height=1,text='输入')
lab1.grid(row =1,column=1)
lab2=tk.Label(height=1,text='输出')
lab2.grid(row =1,column=2)

t1=tk.Text(window,width=60,height=50)
t1.grid(row =2,column=1)
t2=tk.Text(window,height=50)
t2.grid(row =2,column=2)

s=''
# 进入词法分析
def insertText():
    global s
    s=t1.get('1.0', 'end-1c')
    t=tokenize(s)
    t2.delete("1.0", "end")
    # print(token)
    for token in tokenize(s):
        # print(token)
        st=f"{token[0]}\t"+f"{token[1]}\t"+f"在{token[2]}行"
        t2.insert(tk.END,st)
        t2.insert(tk.END, "\n")

b1=tk.Button(window,text="词法分析",width=12,height=2,command=insertText)
b1.grid(row =3,column=2)

# 重置
def clearText():
    t1.delete("1.0", "end")
    t2.delete("1.0", "end")

b2=tk.Button(window,text="重置",width=12,height=2,command=clearText)
b2.grid(row =3,column=1)


window.mainloop()

使用 Python 开发一个 Python 解释器 计算机只能理解机器码。归根结底,编程语言只是一串文字,目的是为了让人类更容易编写他们想让计算机做的事情。真正的魔法是由编译器和解释器完成,它们弥合了两者之间的差距。解释器逐行读取代码并将其转换为机器码。 在本文中,我们将设计一个可以执行算术运算的解释器。 我们不会重新造轮子。文章将使用由 David M. Beazley 开发的词法解析器 —— PLY(Python Lex-Yacc(https://github.com/dabeaz/ply))。 PLY 可以通过以下方式下载: $ pip in 阅读详情

相关推荐

Python词法分析器实现

简单Python词法分析器简单实现:词法分析器状态转换图:词法分析器总流程图:预处理程序:词法分析器:词法分析器程序详细设计#!/usr/bin/env python3.4 # coding=utf-8 import sys import stringkeywards = {}# 关键字部分 keywards['False'] = 101 keywards['class'] = 102 keywar

追梦者的部落格 1万+

编译原理--词法分析器(python语言实现)

词法分析器 最近在学习编译原理。由于实验要求有词法分析器,这里我就先记录一下词法分析器实现过程以及具体思路。 目标语言 此处我选择的目标语言是c语言的子集来进行词法分析。 实现语言 此处我选用的语言是python,主要还是考虑到python的数据结构比较强大而且包容性强。并且我pyqt用的比较熟练,很容易设计出GUI界面。 ...

m0_54759841的博客 1万+

利用Python实现词法分析器(实验报告)

实验一 词法分析器的设计 一、实验目的 理解并掌握词法分析的原理与方法,能够使用某种语言实现词法分析程序。 二、实验要求 选用某种语言(如 C/C++)实现词法分析程序。词法分析程序的主要任务如下: 1. 识别出输入的源程序中的单词,输出二元组形式的单词序列。 2. 删除无用的空白字符、回车符等没有实质意义的字符。 3. 删除注释。 三、实验步骤 1. 选定进行词法分析的高级程序...

Python_striker的博客 1万+

python实现c语言词法分析器

一、构造程序设计语言的描述 <程序>→<类型说明>main(){ <函数体> } <类型说明>→char|int <函数体>→<变量声明部分>|<常量定义>|<输入语句>|<条件语句>|<循环语句>|<表达式>|<输出语句><返回语句> <常量定义>→<类型说明><赋值语句>;|<赋值语句>; <变量

小多的博客 3360

使用python实现简单的词法分析器

简单词法分析器的设计,使用python实现简单的java词法分析器

qq_45729870的博客 1868

python基础及实现词法分析器的基本实现

python基础:1、list的使用,即列表。定义:list(列表名) = [];如下还有对他的遍历,这里的word算是定义了一个变量去存储res[i]的值:# -*- coding: cp936 -*- if __name__=="__main__": res = [] res = ["hello", "you", "are", "good"] i = 0 #对列表...

kobe_jr的博客 1万+

python写词法分析器_python实现词法分析器

简单Python词法分析器实现,供大家参考,具体内容如下词法分析器状态转换图:词法分析器总流程图:预处理程序:词法分析器:词法分析器程序详细设计详细代码实现:#!/usr/bin/env python3.4# coding=utf-8import sysimport stringkeywards = {}# 关键字部分keywards['False'] = 101keywards['class']...

weixin_39791322的博客 525

python实现语法分析器(syntax analyzer)(附完整源码)

python实现语法分析器(syntax analyzer)(附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 365

python3语法分析器_python实现词法分析器

简单Python词法分析器实现,供大家参考,具体内容如下词法分析器状态转换图:词法分析器总流程图:预处理程序:词法分析器:词法分析器程序详细设计详细代码实现:#!/usr/bin/env python3.4# coding=utf-8import sysimport stringkeywards = {}# 关键字部分keywards['False'] = 101keywards['class']...

weixin_39946300的博客 686

Python实现编译原理:构建词法和语法分析器

编译器是将一种编程语言(源语言)转换成另一种编程语言(目标语言)的软件工具。编译过程通常包括词法分析、语法分析、语义分析、优化和代码生成等步骤。理解编译原理的基本概念有助于深入学习程序设计语言及其实现。LR0分析方法是一种自底向上的语法分析技术,它能够在不需要回溯的情况下分析大多数编程语言的语法结构。LR0分析器通过维护一个状态堆栈和一个分析表来进行工作。分析表包括两个主要部分:GOTO表和ACTION表。ACTION表用于处理输入符号的读取和移入(shift)动作,以及归约(reduce)动作。

weixin_42600128的博客 928

python 实现SLR(1)语法分析器

编译原理python 实现SLR(1)语法分析器 包含分支循环结构

词法分析器(Lexical Analyzer)【Python实现】

正文内容 from __future__ import print_function import sys # following two must remain in the same order tk_EOI, tk_Mul, tk_Div, tk_Mod, tk_Add, tk_Sub, tk_Negate, tk_Not, tk_Lss, tk_Leq, tk_Gtr, \ tk_...

数据联盟 8580

手把手教你用LTspice仿真TVS二极管:从选型验证到波形分析全流程

本文详细介绍了如何使用LTspice仿真TVS二极管,从选型验证到波形分析的全流程。通过搭建仿真环境、核心参数验证和系统级防护策略,帮助工程师低成本评估TVS性能,优化电路设计。特别适用于电源设计和接口防护领域,提升工作效率和设计准确性。

weixin_29234239的博客 653

python实现c语言词法分析器s,如何用python写一个简单的词法分析器

编译原理老师要求写一个java的词法分析器,想了想决定用python写一个。目标能识别出变量,数字,运算符,界符和关键字,用excel表打印出来。有了目标,想想要怎么实现词法分析器。1.先进行预处理,把注释,多余的空格,空行去掉。2.一行一行扫描,行里逐字扫描,把界符和运算符当做分割符,遇到就先停下开始判断。若是以 英文字母、$、下划线开头,则可能是变量和关键字,在判断是关键字还是变量。若是数字开...

weixin_36202127的博客 390

TIFF文件渲染避坑指南:Three.js与Cesium的5个关键差异点

本文深入对比了Three.js与Cesium在渲染TIFF文件时的5个核心差异点,包括坐标系处理、内存管理、着色器系统、性能优化策略和错误处理机制。重点解析了Cesium的全球WGS84坐标系与Three.js局部坐标系对地理空间数据渲染的根本影响,并提供了针对性的性能优化与调试方案,帮助开发者根据项目需求选择合适的3D引擎并有效避坑。

weixin_29243279的博客 335

ChatGPT高效制作PPT:从内容生成到设计优化全流程

人工智能技术正在改变传统办公文档的创作方式,其中自然语言处理(NLP)与生成式AI的结合为内容创作带来了革命性突破。以ChatGPT为代表的大语言模型(LLM)能够理解复杂指令并生成结构化内容,其核心原理是通过海量数据训练获得的语义理解和文本生成能力。在办公自动化场景中,这种技术特别适合解决PPT制作中的两大痛点:内容创作耗时和逻辑架构困难。通过精心设计的提示词工程,AI可以快速输出包含核心要点、数据支撑的完整内容框架,甚至直接生成Markdown格式的代码以便快速转换为PPT。对于商业计划、项目汇报等高频

weixin_42613018的博客 499

编译原理——用Python实现简易词法分析器

本文主要展示了一个是用python写的简单的词法分析器

weixin_40960130的博客 1354

X猫免费小说安卓逆向分析

七猫免费小说安卓逆向分析 难度(♥♥) 文章目录七猫免费小说安卓逆向分析 难度(♥♥)1. 查壳2. 抓包分析3. sign1. Frida-rpc2. Native函数分析快3点了. 睡觉~ 白天再继续写! 1. 查壳 我这边使用的是ApkTool, 拖进去显示未加壳。 2. 抓包分析 POST https://xiaoshuo.wtzw.com/api/v1/login/index HTTP/1.1 net-env: 1 channel: qm-cbcpa056_wm is-white: 0 platf

Qiled的博客 4377

python实现词法分析_如何用python写一个简单的词法分析器

编译原理老师要求写一个java的词法分析器,想了想决定用python写一个。目标能识别出变量,数字,运算符,界符和关键字,用excel表打印出来。有了目标,想想要怎么实现词法分析器。1.先进行预处理,把注释,多余的空格,空行去掉。2.一行一行扫描,行里逐字扫描,把界符和运算符当做分割符,遇到就先停下开始判断。若是以 英文字母、$、下划线开头,则可能是变量和关键字,在判断是关键字还是变量。若是数字开...

weixin_39967120的博客 1113

关于影响力最大化问题中贪心算法的一些理解

在影响力最大化问题中(Influence Maximization,以下简称IM),贪心算法是最早提出的一种解决方法,并且一直沿用至今。它基于IM问题所具有的单调性(Monotonicity)和子模性(Submodularity)使用一种Hill Climbing策略,不断使用Monte Carlo模拟来寻找在当前情况下的具有最大传播范围的节点,添加至种子集合,得到最终结果,算法伪代码如下所示: 这里算法1其实并没有使用MonteCarlo模拟,而只是使用了贪心的策略...

nianjuan1990的专栏 2852

如何通过Davinci Configurator来新增一个BswM仲裁规则

详细介绍如何通过Davinci Configurator来新增一个BswM仲裁规则。

initiallizer的博客 796

编译原理实验一:C++词法分析器(python实现)

使用正则表达式精确匹配各种词法单元特殊格式支持:36 进制整数、点分标识符、格式说明符等优先级控制:长模式优先(如++先于+),关键字优先于标识符# 定义 token 类型与对应的正则表达式# 预处理指令: #include <任意内容> 或 #define 单词1 单词2# 多行注释: /* 尽可能少的字符 */\*/'),# 单行注释: // 任意字符至本行末尾。

IqNus的博客 1125

CKA-CN考试之路----1

后的的任意位置,但-n 和autoscale 必须是相连的.后面不再对命名空间部分做解释了.说明配置正确,如果无法保存退出,再次检查对齐.不用怀疑一定是复制的时候少了字母或者对齐出错.运行以下命令确认红色箭头的值和题目要求是否一致。将文档中的内容复制并粘贴到对应位置.,后续不再提醒yaml的对齐。确认脚本check1.sh。

Q先生 614
上一篇: 【python快速编程入门(第二版)黑马程序员课后编程题】
糯香清奶茶
博客等级 码龄7年 37粉丝 4原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址