pywinauto自动化-操作windowsGUI程序简单使用

原创

wx58f0846670609 2022-12-14 16:40:55 博主文章分类：python ©著作权

©著作权归作者所有：来自51CTO博客作者wx58f0846670609的原创作品，请联系作者获取转载授权，否则将追究法律责任

pywinauto是一组实现windows GUI窗口自动化的python模块。使用pywinauto可以方便的给窗口发送鼠标、键盘事件，使用python程序控制程序窗口。主要是针对CS程序自动化应用。必须是GUI程序。

参考: https://github.com/pywinauto/pywinauto

1. 官网解释

大概意思就是程序有两种backend，win32 (默认是这个)和 uia，针对不同的backend 有不同的窗体检测工具。

Spy++ （定位元素工具（win32））
Inspect（定位元素工具（uia））
UI Spy （定位元素工具）
Swapy（可简单生成pywinauto代码）

下面例子用 spy++ ,一个小型的压缩包，解压后就可以使用。

2. 简单使用

可以简单理解，如果要想操作，肯定是需要启动一个程序、或者连接到一个已经存在的APP，然后获取其相关窗口、对话框等控件元素进行操作

0. spy++ 简单使用

spy++ 可以用于定位一些app的相关的class、title 等信息，也可以定位内部的窗口：

(1).找到如下按钮

pywinauto自动化-操作windowsGUI程序简单使用_另存为

(2)拖到对应app的窗口会提示相关的句柄、title、class 等信息，比如拖到记事本显示信息如下：

pywinauto自动化-操作windowsGUI程序简单使用_另存为_02

1. 启动和定位APP以及查看包含哪些组件

import pywinauto
from pywinauto.application import Application

# 获取一个APP的方法
# 第一个是启动, start(默认超时是5s)
app = Application().start('notepad.exe')
dlg = app.window(title='无标题 - 记事本')
print(dlg.__class__)
dlg.print_control_identifiers()

print('======')
# 第二个是获取, 根据title 获取。 从所有应用程序直接获取
app1 = pywinauto.Desktop()
dlg1 = app1['无标题 - 记事本']
print(dlg1.__class__)
dlg1.print_control_identifiers()

结果：

<class 'pywinauto.application.WindowSpecification'>
Control Identifiers:

Notepad - '无标题 - 记事本'    (L48, T259, R1345, B807)
['Notepad', '无标题 - 记事本Notepad', '无标题 - 记事本']
child_window(title="无标题 - 记事本", class_name="Notepad")
   | 
   | Edit - ''    (L56, T310, R1337, B777)
   | ['Edit', '无标题 - 记事本Edit']
   | child_window(class_name="Edit")
   | 
   | StatusBar - ''    (L56, T777, R1337, B799)
   | ['StatusBar', '无标题 - 记事本StatusBar', 'StatusBar   第 1 行，第 1 列', 'StatusBar   Windows (CRLF)', 'StatusBar100%']
   | child_window(class_name="msctls_statusbar32")
======
<class 'pywinauto.application.WindowSpecification'>
Control Identifiers:

Notepad - '无标题 - 记事本'    (L48, T259, R1345, B807)
['Notepad', '无标题 - 记事本Notepad', '无标题 - 记事本']
child_window(title="无标题 - 记事本", class_name="Notepad")
   | 
   | Edit - ''    (L56, T310, R1337, B777)
   | ['Edit', '无标题 - 记事本Edit']
   | child_window(class_name="Edit")
   | 
   | StatusBar - ''    (L56, T777, R1337, B799)
   | ['StatusBar', '无标题 - 记事本StatusBar', 'StatusBar   第 1 行，第 1 列', 'StatusBar   Windows (CRLF)', 'StatusBar100%']
   | child_window(class_name="msctls_statusbar32")

也可以根据processId 、句柄、class_name 、title等获取，当然可以组合

# 获取一个APP的方法
# 根据进程ID获取
# app = Application().connect(process=22972)
# 根据句柄获取，句柄可以用spy++ 点击后查看到
# app = Application().connect(handle=0x0051082A)
# 根据class_name 获取，属性值可以用spy++ 获取
from pywinauto import Application

app = Application().connect(class_name='Notepad')
dlg = app.window().print_control_identifiers()

结果：

Control Identifiers:

Notepad - '无标题 - 记事本'    (L-32000, T-32000, R-31840, B-31972)
['Notepad', '无标题 - 记事本Notepad', '无标题 - 记事本']
child_window(title="无标题 - 记事本", class_name="Notepad")
   | 
   | Edit - ''    (L-32000, T-32000, R-30719, B-31533)
   | ['Edit', '无标题 - 记事本Edit']
   | child_window(class_name="Edit")
   | 
   | StatusBar - ''    (L-32000, T-31533, R-30719, B-31511)
   | ['StatusBar   Windows (CRLF)', 'StatusBar100%', 'StatusBar   第 1 行，第 1 列', '无标题 - 记事本StatusBar', 'StatusBar']
   | child_window(class_name="msctls_statusbar32")

2. 遍历打印该窗口所有的菜单

from pywinauto import Application

'''
通过 menu().items() 可以获取当前级次下的菜单项，再通过 sub_menu() 判断是有下级菜单项，不断的递归，把所有的菜单项打印出来
'''


def list_menu(menu_item, space):
    '''
     作用：递归法遍历菜单
    '''
    for i in menu_item.items():
        if (len(i.text()) > 0):
            print(space + i.text())
        if (i.sub_menu() != None):
            list_menu(i.sub_menu(), "    " + space)


app = Application().connect(class_name='Notepad')
dlg = app.window()

list_menu(dlg.menu(), "")

结果:

Control Identifiers:

Notepad - '无标题 - 记事本'    (L-8, T-8, R1928, B1048)
['Notepad', '无标题 - 记事本', '无标题 - 记事本Notepad']
child_window(title="无标题 - 记事本", class_name="Notepad")
   | 
   | Edit - ''    (L0, T43, R1920, B1018)
   | ['Edit']
   | child_window(class_name="Edit")
   | 
   | StatusBar - ''    (L0, T1018, R1920, B1040)
   | ['StatusBar   Windows (CRLF)', '无标题 - 记事本StatusBar', 'StatusBar100%', 'StatusBar   第 1 行，第 1 列', 'StatusBar']
   | child_window(class_name="msctls_statusbar32")
文件(&F)
    新建(&N)  Ctrl+N
    打开(&O)...  Ctrl+O
    保存(&S)  Ctrl+S
    另存为(&A)...
    页面设置(&U)...
    打印(&P)...  Ctrl+P
    退出(&X)
编辑(&E)
    撤消(&U)  Ctrl+Z
    剪切(&T)  Ctrl+X
    复制(&C)  Ctrl+C
    粘贴(&P)  Ctrl+V
    删除(&L)  Del
    &使用 Bing 搜索...   Ctrl+E
    查找(&F)...  Ctrl+F
    查找下一个(&N)  F3
    替换(&R)...  Ctrl+H
    转到(&G)...  Ctrl+G
    全选(&A)  Ctrl+A
    时间/日期(&D)  F5
格式(&O)
    自动换行(&W)
    字体(&F)...
查看(&V)
    缩放(&Z)
        &放大 Ctrl+Plus
        &缩小 Ctrl+Minus
        &恢复默认缩放   Ctrl+0
    状态栏(&S)
帮助(&H)
    查看帮助(&H)
    关于记事本(&A)

4. 找子窗口

from pywinauto import Application

app = Application().connect(class_name='Notepad')
dlg = app.window()
print(dlg)

# 找子窗口
dlg2 = dlg.child_window(class_name='Edit')
print(dlg2)
print(dlg.Edit)
print(dlg['Edit'])

如果找不到元素或者找到多个元素，直接调用方法会报错，解决办法就是自己通过下标指定index(可以结合下面draw_outline 划线来定位元素)

saveasAppWindow.child_window(class_name='ToolbarWindow32', found_index=3).click()

5. 对找到的元素打标记

from pywinauto import Application

app = Application().connect(class_name='Notepad')
dlg = app.window()
print(dlg)

# 找子窗口
dlg2 = dlg.child_window(class_name='Edit')
dlg2.draw_outline(colour = 'red')

结果：会用红线标记找到的元素

pywinauto自动化-操作windowsGUI程序简单使用_Windows_03

3. 键盘和点击事件

如下例子，打开记事本，输入一些字符串然后另存为E:/1.txt

'''
1. 打开记事本
2. 在编辑区域输入pywinauto Works!
3. 点击菜单栏的 文件->另存为

4. 在另存为窗口输入路径: E:\\
5. 名称输入 1.txt
6. 点击确定按钮
'''
from pywinauto import Application
from pywinauto.keyboard import send_keys

'''
在记事本窗口操作
'''
# 打开记事本
app = Application().start('notepad.exe')
dlg = app.window(title='无标题 - 记事本')

# 找到编辑区域输入内容
dlg.child_window(class_name='Edit').type_keys("pywinauto Works!", with_spaces=True)

# 选择菜单, 文件->另存为
dlg.menu_select("文件(&F)->另存为(&A)")

'''
在另存为窗口操作
'''
# 输入的对话框输入路径和文件名称然后点击确定
# 选择文件(pywinauto自动选择)
saveasApp = Application().connect(title='另存为')
saveasAppWindow = saveasApp.window(found_index=0)
# 选择文件上传的窗口
# 1. 上面路径选择窗口: 点击 -》 输入路径 -》 回车
# 选择文件地址输入框，点击
saveasAppWindow.child_window(class_name='ToolbarWindow32', found_index=3).click()
# 键盘输入上传文件的路径
send_keys("E:\\")
# 键盘输入回车，打开该路径
send_keys("{VK_RETURN}")
# 2. 名称按钮输入名称
saveasAppWindow['Edit'].type_keys("1.txt")
# 3. 保存按钮点击
saveasAppWindow.child_window(title='保存(&S)').click()