1. 为什么我们需要UI Automation?
如果你用过Windows自带的“讲述人”功能,或者用过一些自动化测试工具,那你其实已经间接接触过UI Automation了。简单来说,它就像给Windows程序界面装上了一双“眼睛”和一个“遥控器”。这双“眼睛”能“看到”屏幕上每个按钮、文本框、菜单是什么,叫什么名字,有什么属性;而这个“遥控器”则能模拟我们去点击、输入、选择。
我最早接触这个技术,是因为一个客户想做一个内部工具的自动化巡检脚本。他们有个老旧的Windows桌面应用,没有API接口,但每天需要人工点几十个按钮、填一堆数据,非常枯燥且容易出错。当时我就在想,能不能写个程序,让它像人一样去操作这个软件?一番搜索后,我发现了UI Automation这个宝藏。它不像传统的基于图像识别(费时费力还不稳定)或者直接模拟鼠标键盘消息(太底层,容易失控)那么麻烦,而是直接和程序的“界面骨架”对话,精准又高效。
对于C#开发者来说,UI Automation更是“亲儿子”级别的支持。微软把整套技术都封装在了 System.Windows.Automation 这个命名空间里,用起来非常顺手。无论是想开发自动化测试框架、制作办公助手、还是实现一些复杂的桌面流程自动化,它都是Windows平台上的首选方案。接下来,我就带你从零开始,一步步用C#把这双“眼睛”和这个“遥控器”给造出来。
2. 开发前的侦察兵:UISpy与Inspect工具
在动手写代码之前,我们得先搞清楚目标程序长什么样,它的“骨骼结构”是什么。这就好比你要给一栋大楼布线,总得先有一张建筑结构图吧?在UI Automation的世界里,这张“结构图”就是程序的UI树,而我们的侦察兵就是 UISpy 和 Inspect。
这两个工具都是微软官方提供的,功能大同小异。Inspect是更新一些的工具,集成在Windows SDK里;UISpy则更经典一些。我个人的习惯是两者都打开,互相印证。以大家熟悉的视频剪辑软件DaVinci Resolve为例,我们来看看怎么用。
首先,你得找到这两个工具。如果你安装了Visual Studio,可以在安装目录的 SDK 或 Tools 文件夹里找到 Inspect.exe。UISpy可能需要单独下载旧版的Windows SDK。打开工具后,你会看到一个类似资源管理器的树状界面和一个实时预览区域。
关键操作来了:把工具鼠标指针那个“瞄准镜”图标拖拽到你想分析的窗口上,比如DaVinci Resolve的主界面。瞬间,左边的树状图就会刷出整个窗口的UI层次结构。从最顶层的窗口,到里面的面板、工具栏,再到具体的一个按钮、一个滑块,全都一目了然。
这里你需要重点关注几个属性,它们是我们后续写代码时的“坐标”:
- AutomationId:这是元素的唯一标识符,相当于它的身份证号。开发者在设计UI时如果规范,会给控件设置这个Id。用它来定位元素是最精准的。
- Name:就是控件显示的名称,比如“打开”、“保存”。但要注意,名字可能重复,也可能没有。
- ClassName:控件的类名,比如
Button、Edit、ComboBox。同一类控件行为相似。 - ControlType:控件的类型,如
Button、Text、Slider。它比ClassName更抽象,是UI Automation定义的标准类型。
比如,在DaVinci Resolve的调色面板里,我想找到“色温”滑块。用Inspect工具悬停在滑块上,我就能在属性列表里看到它的 AutomationId 可能是一长串像 UiMainWindow...sliderFrame.frameTint 这样的字符串,而它旁边显示数值的标签,ClassName 很可能是 QLabel。把这些信息记下来,这就是我们代码里的“寻宝图”。
3. 搭建你的第一个UI Automation项目
侦察完毕,图在手,可以开工了。打开Visual Studio,新建一个C#控制台应用项目(.NET Framework 或 .NET Core/.NET 6+ 都行,确保项目能引用到必要的库)。
第一步,添加引用。这是很多新手会卡住的地方。UI Automation的核心库不是默认引用的。你需要右键点击项目“引用” -> “添加引用”,在弹出的窗口中,切换到“程序集”选项卡,然后找到并勾选:
UIAutomationClientUIAutomationTypesUIAutomationProvider(某些高级场景需要)
如果你用的是较新的.NET版本,也可以通过NuGet包管理器来添加。直接在NuGet中搜索 System.Windows.Automation 并安装即可,这是微软官方提供的跨平台兼容包,用起来更现代。
第二步,引入命名空间。在你的 Program.cs 文件顶部,添加这几行:
using System.Windows.Automation;
using System.Diagnostics;
System.Windows.Automation 提供了所有核心类,System.Diagnostics 则用来操作进程。
第三步,连接目标程序。我们的代码要像特工一样,先找到目标进程,然后才能与其界面建立连接。假设我们要操作的是记事本(notepad):
static void Main(string[] args)
{
Console.WriteLine(">>> 开始连接目标窗口...");
// 1. 通过进程名找到目标
Process[] notepadProcesses = Process.GetProcessesByName("notepad");
if (notepadProcesses.Length == 0)
{
405



被折叠的 条评论
为什么被折叠?



