AI测试:手把手教你用AI做桌面自动化「喂饭教程」

引言

  • 在日常工作中,我们经常需要重复执行一些桌面操作:打开应用、管理文件、截图、调整系统设置等。这些看似简单的任务,累积起来却消耗了大量时间。
  • 今天给大家分享一个基于MCP(Model Context Protocol)协议的桌面自动化方案——DesktopCommanderMCP,通过自然语言就能控制你的电脑,让AI成为你的智能桌面助手。

一、项目概述

DesktopCommanderMCP 是一个强大的桌面自动化工具,它通过MCP协议将AI与操作系统深度集成,让你可以用自然语言完成各种桌面操作。

核心能力包括:

  • 应用程序管理:启动、关闭、切换应用程序
  • 文件系统操作:创建、移动、删除文件和文件夹
  • 屏幕控制:截图、录屏、窗口管理
  • 系统信息查询:获取系统状态、进程信息、资源占用
  • 剪贴板操作:读取和写入剪贴板内容

二、技术架构

DesktopCommanderMCP 采用客户端-服务器架构:

Desktop Commander MCP:赋予AI本地管理员权限的自动化工具 Model Context Protocol(MCP)是一种开放协议,旨在让AI模型能够安全、可控地访问外部工具和数据源。其核心原理是通过标准化的JSON-RPC协议,在AI客户端与本地系统之间建立一个安全的中间层,实现权限隔离与会话管理。这一技术为AI辅助编程和自动化带来了重要价值,使得AI助手能够直接执行终端命令、搜索编辑文件、运行代码和管理进程,从而将自然语言指令转化为实际系统操作。在应用场景上,它特别适用于数据分析工作流自动化、开发环境搭建与维护、系统监控与故障排查等需要频繁进行上下文切换的工程实践 阅读详情

相关推荐

从Codex到Pi:开源AI编程智能体的自由与折腾全记录

AI编程助手正在重塑开发工作流,但不同工具的自由度与可控性差异极大。以Codex为代表的闭源智能体开箱即用,却存在模型锁定、环境封闭、扩展受限等隐性成本;而开源AI编程智能体则允许开发者自由接入任意OpenAI兼容模型,通过自定义Skills定义专属规则,并结合上下文管理策略应对长任务挑战。这类工具不仅适用于复杂项目重构,还能满足私有化部署与团队规范定制等工程需求。本文基于从Codex迁移到Pi的真实体验,梳理模型接入配置、Skills技能包编写、上下文窗口调优以及高频报错排查等关键环节,为正在评估或切换A

weixin_32830601的博客 274

Hermes+Kimi K2.6构建可量产AI工作流系统

AI工作流系统是面向业务自动化的智能任务调度架构,其核心在于协议稳定、状态可控、技能可编排与资源可隔离。基于REST/SSE的API直连机制保障低延迟高可用,结合SQLite轻量状态管理实现跨会话上下文延续;Kimi K2.6凭借动态token扩展与tool_use能力,显著优于Claude或本地大模型在长文档处理与结构化输出上的表现。该技术栈广泛适用于合同审核、财报分析、审批催办等企业高频重复场景,尤其适合法务财务人员、中小团队管理者及Agent工程实践者快速落地最小可行系统。

weixin_30431923的博客 320

OpenClaw+GLM-5零门槛部署:晚饭前跑通AI智能体

智能体(Agent)是大模型落地的核心范式,其本质是将复杂任务分解为可调度、可验证的自动化单元。OpenClaw以Skill为基本抽象,结合GLM-5超长上下文(200k)与中文原生推理能力,构建出面向业务场景的轻量级智能体运行时。它不依赖Kubernetes或LangChain等开发框架,而是通过CLI驱动、镜像预置和飞书深度集成,实现从服务器创建到消息响应的端到端闭环。该方案显著降低AI自动化使用门槛,适用于运营、行政、内容创作等非技术岗位,让GLM-5真正成为嵌入工作流的‘数字同事’。

cuiji1279的博客 721

AI测试:手把手教你用AI做App自动化测试「喂饭教程」

本文介绍如何使用mobile-mcp工具实现AI自动化移动应用测试。mobile-mcp基于Model Context Protocol,可让AI控制Android/iOS设备执行点击、滑动、截图等操作。

blues_C的博客 1261

AI测试:手把手教你用AI做Windows自动化测试「喂饭教程」

想象一下,只需要用自然语言告诉电脑"帮我打开记事本,输入一段文字,然后保存到桌面",电脑就能自动完成这些操作。Windows-Use让这一切成为现实。本文将手把手教你如何安装、配置和使用Windows-Use,让你的Windows电脑变成一个听话的AI助手。

blues_C的博客 1537

Midscene.js(2):代码集成 + 桥接模式(Bridge Mode)的使用「喂饭教程」

本文将手把手教你从零开始搭建一个 Node.js 项目,集成 Midscene.js,并利用其桥接模式实现对 Chrome 浏览器的自动化操作。我们将通过具体的实例,来展示 Midscene.js 的便捷性与 AI 能力的结合。

blues_C的博客 1849

Midscene.js(5):零基础上手 Android AI 自动化(YAML 版)「喂饭教程」

在移动应用测试领域,传统的自动化测试往往需要编写大量代码,维护复杂的元素定位器。而 Midscene.js 带来了革命性的变化——通过 AI 视觉理解和自然语言描述,让测试变得像写文档一样简单。 本文将带你从零开始,掌握使用 YAML 配置文件进行 Android 应用自动化测试的完整流程。

blues_C的博客 1033

阿里平头哥与华为芯片的比较

阿里平头哥与华为芯片代表了中国AI芯片领域的两种典型发展路径:平头哥通过兼容CUDA生态快速切入市场,以较低成本提供接近国际水平的AI算力;华为则坚持全栈自研路线,构建从芯片到框架的完整技术体系,更注重供应链安全和自主可控。从短期来看,平头哥PPU在单卡性能参数上全面超越昇腾910B,接近英伟达H20水平,且成本优势明显,有望在云服务和互联网应用领域取得更大市场份额。而华为昇腾则凭借全栈自研和端边云协同优势,在政企市场和科研领域更具竞争力。

shao.bing的专栏 4092

经典损失函数——均方误差(MSE)和交叉熵误差(CEE)的python实现

损失函数(loss function)用来表示当前的神经网络对训练数据不拟合的程度。这个损失函数有很多,但是一般使用均方误差和交叉熵误差等。 1.均方误差(mean squared error) 先来看一下表达式: 用于将的求导结果变成,是神经网络的输出,是训练数据的标签值,k表示数据的维度。 用python实现: def MS...

Answer3664的博客 1万+

VirtualBox虚拟机拖放文件总失败?手把手教你配置双向拖放与共享文件夹(Ubuntu版)

本文详细指导如何在VirtualBox的Ubuntu虚拟机中配置高效的数据交换方案。核心是安装VirtualBox Guest Additions,并在此基础上开启双向拖放与共享粘贴板功能,同时建立稳定的共享文件夹,彻底解决主机与虚拟机间文件传输失败的问题,构建无缝的跨系统工作环境。

weixin_29245767的博客 232

Android逆向分析

Android 逆向开发是指对已发布的 Android 应用进行分析和破解,以了解应用程序的内部工作原理,获取应用程序的敏感信息,或者修改应用程序的行为。Android应用 Java编写的,利用Android SDK编译代码,并并且把所有的数据和资源文件打包成一个APK(Android Package)文件这是一个后缀名为.apk的压缩文件,apk文件中包含了一个Anddroid应用程序的所有内容,是Android平台用于安装应用程序的文件。

qq_51598534的博客 6301

如何使用ArcGIS制作热力图

1.概述 水经注软件除了可以轻松下载无水印Google Earth卫星影像、有明确拍摄日期的历史影像、地方高清天地图、百度高德大字体打印地图,按1万/5千等国家标准图幅下载,对百度坐标与火星坐标进行纠偏;下载陆地及海洋高程、STRM高程、提取10米等高线等深线、CASS高程点之外,还可以将下载的数据进行拓展运用。这里,我们以热力图制作为例,介绍一下如何将水经注万能地图下载器下载的数据进行拓展运...

5216

零基础入门simulink建模仿真--基于Simulink的QPSK调制与解调仿真建模示例

QPSK是一种相位调制技术,将两个比特映射到一个符号上,每个符号对应四个可能的相位之一(0°、90°、180°、270°)。通过Simulink,我们可以通过模块化的建模方式实现QPSK的调制和解调过程,并观察信号在信道中的传输效果。通过本指南,我们介绍了如何基于Simulink搭建一个完整的QPSK调制与解调仿真模型,并进行仿真和性能评估。背景介绍:理解QPSK调制与解调的基本原理及其应用。所需工具和环境:列出进行QPSK仿真所需的工具和环境。步骤详解。

amy_mhd的博客 1313

【目标跟踪】多目标跟踪的评价工具motmetrics怎么使用?

多目标跟踪,通过motmetrics测试评价对应的视频。

聿默的博客 5369

YOLOv11改进 | 集成FEM、FFM与SCAM即插即用模块:特征增强、融合与空间上下文建模新范式

FEM解决特征表达不足问题,增强关键特征响应FFM优化多尺度融合,提升小目标检测精度SCAM建模空间上下文,改善目标交互预测在保持YOLOv11实时性优势的同时,实现mAP+8.1%的显著提升,特别在复杂光照、密集目标、交互预测场景表现突出。其模块化设计使开发者可根据需求灵活组合,为各种复杂场景提供定制化解决方案。未来,随着跨模态扩展与神经架构搜索的深入,YOLOv11-FSC将进一步推动目标检测技术向更智能、更高效的方向发展。

走向CTO的路上... 991

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

上一篇: AI测试:手把手教你用AI操作MySQL数据库「喂饭教程」
下一篇: Python:什么是 PEP 8 编码规范?
blues_C
blues_C 新星创作者: 软件测试技术领域 新星创作者: 软件测试技术领域
博客等级 码龄6年 4463粉丝 364原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

blues_C

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址