如何使用Python自动控制windows桌面

前言

在使用PC时与PC交互的主要途径是看屏幕显示、听声音,点击鼠标和敲键盘等等。在自动化办公的趋势下,繁琐的工作可以让程序自动完成。比如自动化测试、自动下单交易等。很多软件除了可以GUI方式操作外还可以用CLI接口操作,不过当一些软件未提供CLI接口时,我们应该怎么办呢?我们还可以用程序控制桌面上的窗口、模拟点击鼠标或按下键盘等动作来释放自己。

pywin32是一个Python库,它为Python提供访问Windows API的扩展,提供了齐全的windows常量、接口、线程以及COM机制等等,安装后会自带一个pythonwin的IDE。接下来主要介绍下如何通过Python去操作windows桌面软件。

1、打开软件或文件

比如打开一个谷歌浏览器,或者打开一个word文件,如下所示:

win32api.ShellExecute(1, 'open',

r'C:Program Files (x86)GoogleChromeApplicationchrome.exe',

'', '', 1)

win32api.ShellExecute(1, 'open',

r'C:UsersJayDesktopEnvironment Guider.docx',

'', '', 1)

win32api.ShellExecute()的参数主要包括:

  • HWND:指定父窗口句柄
  • Operation:指定动作, 譬如"edit",“explore”,“open”,“find”,“print”,“NULL”
  • FileName:指定要打开的文件或程序
  • Parameters:指定打开程序所需参数
  • Directory:缺省目录
  • ShowCmd:打开选项,可选值:

    • SW_HIDE = 0; {隐藏窗口,活动状态给令一个窗口}
    • SW_SHOWNORMAL = 1; {用最近的大小和位置显示窗口, 同时令其进入活动状态}
    • SW_NORMAL = 1; {用当前的大小和位置显示一个窗口,不改变活动窗口}
    • SW_SHOWMINIMIZED = 2; {最小化窗口,并将其激活}
    • SW_SHOWMAXIMIZED = 3; {最大化窗口,并将其激活}
    • SW_MAXIMIZE = 3; {同 SW_SHOWMAXIMIZED}
    • SW_SHOWNOACTIVATE = 4; {用最近的大小和位置显示一个窗口,不改变活动窗口}
    • SW_SHOW = 5; {用当前的大小和位置显示一个窗口,令其进入活动状态}
    • SW_MINIMIZE = 6; {最小化窗口, 不激活}
    • SW_SHOWMINNOACTIVE = 7; {同 SW_MINIMIZE}
    • SW_SHOWNA = 8; {用当前的大小和位置显示一个窗口,不改变活动窗口}
    • SW_RESTORE = 9; {同 SW_SHOWNORMAL}
    • SW_SHOWDEFAULT = 10; {同 SW_SHOWNORMAL}
    • SW_MAX = 10; {同 SW_SHOWNORMAL}

执行成功会返回应用程序句柄, 如果返回值 <= 32,则表示执行错误。返回值可能的错误有:

  • 0—— {内存不足}
  • 2—— {文件名错误}
  • 3—— {路径名错误}
  • 11—— {EXE 文件无效}
  • 26—— {发生共享错误}
  • 27—— {文件名不完全或无效}
  • 28—— {超时}
  • 29—— {DDE 事务失败}
  • 30—— {正在处理其他 DDE 事务而不能完成该 DDE 事务}
  • 31—— {没有相关联的应用程序}

2、查找窗体的句柄

在win32编程的世界里,包括窗口到文本框的所有控件都是窗体,所有的窗体都有独立的句柄。要操作任意一个窗体,都需要找到这个窗体的句柄。句柄是一个32位整数,在windows中用于标记对象。比如查找Snipping Tool和New Text Document.txt的句柄,如下所示:

para_hld = win32gui.FindWindow(None, "Snipping Tool")# 1836416

para_hld = win32gui.FindWindow(None, "New Text Document.txt - Notepad")# 591410

win32gui.FindWindow()属于win32gui的模块,它自顶层窗口(也就是桌面)开始搜索条件匹配的窗体,并返回这个窗体的句柄。该函数仅能查找主窗口,因此无法搜索子窗口,也不区分大小写,未找到则返回0。

win32gui.FindWindow()的参数主要包括 (lpClassName=None, lpWindowName=None):

  • lpClassName:字符型,窗体的类名,可以在Spy++里找到
  • lpWindowName:字符型,窗口名,也就是标题栏上能看见的那个标题。


3、查找句柄的类名和标题

比如通过Snipping Tool和New Text Document.txt的句柄查找对应的类名和标题,如下所示:

title = win32gui.GetWindowText(1836416)

classname = win32gui.GetClassName(1836416)

print "windows handler:{0}; title:{1}; classname:{2}".format(1836416, title, classname)

打印显示如下:

windows handler:1836416; title:Snipping Tool; classname:Microsoft-Windows-Tablet-SnipperToolbar

title = win32gui.GetWindowText(591410)

classname = win32gui.GetClassName(591410)

print "windows handler:{0}; title:{1}; classname:{2}".format(591410, title, classname)

打印显示如下:

windows handler:591410; title:New Text Document.txt - Notepad; classname:Notepad

4、调用win32gui.EnumWindows()枚举所有窗口句柄

直到最后一个顶层窗口被枚举则停止枚举过程。如下所示:

hWndList = []

win32gui.EnumWindows(lambda hWnd, param: param.append(hWnd), hWndList)

print hWndList

for hwnd in hWndList:

title = win32gui.GetWindowText(hwnd)

print title

打印显示如下:

[852802L, 65946L, 65928L, 65930L, 65900L, 65920L, 65924L, 65922L, 65944L, 65892L, 65886L, 6817870L, 65960L, 6031410L, …… 66052L, 65734L]

……

New Text Document.txt - Notepad

Snipping Tool

DDE Server Window

OfficePowerManagerWindow

OfficePowerManagerWindow

DDE Server Window

GDI+ Window

Global Internet Access

……

5、win32gui.SetForegroundWindow()函数将指定窗体设置到最顶层,并且激活该窗口

构造函数为:win32gui.SetWindowPos(HWN hWnd,HWND hWndlnsertAfter, int X,int Y, int cx,int cy, UNIT.Flags)

关于win32gui.SetForegroundWindow(para_hld)报错的问题:

pywintypes.error: (0, ‘SetForegroundWindow', ‘No error message is available')

其实调用SetForegroundWindow()会有很多限制,参考官网的说明

因此调用SetForegroundWindow()时需要查看当前运行的条件是否符合上述要求,此处在调用SetForegroundWindow()前事先发送一个键盘event来解决该问题。

例程如下所示:

win32api.keybd_event(13, 0, 0, 0) #

win32gui.SetForegroundWindow(para_hld)

6、win32api.keybd_event()模拟键盘输入

构造函数如下所示:

win32api.keybd_event (bVk, bScan, dwFlags, dwExtraInfo)

  • bVk:虚拟键码(键盘键码对照表见附录);
  • bScan:硬件扫描码,一般设置为0即可;
  • dwFlags:函数操作的一个标志位,如果值为KEYEVENTF_EXTENDEDKEY则该键被按下,也可设置为0即可,如果值为KEYEVENTF_KEYUP则该按键被释放;
  • dwExtraInfo:定义与击键相关的附加的32位值,一般设置为0即可。

按下enter键后抬起的例程如下所示:

win32api.keybd_event(13,0,0,0) # enter

win32api.keybd_event(13,0,win32con.KEYEVENTF_KEYUP,0) #释放按键

7、模拟鼠标输入

直接给出例程,如下所示:

# 获取鼠标当前位置的坐标

print win32api.GetCursorPos()

# 将鼠标移动到坐标处

win32api.SetCursorPos((100, 100))

# 左点击

win32api.mouse_event(win32con.MOUSEEVENTF_LEFTDOWN, 100, 100, 0, 0)

time.sleep(2)

win32api.mouse_event(win32con.MOUSEEVENTF_LEFTUP, 100, 100, 0, 0)

8、关于鼠标键盘的操作还可以使用PyUserInput库

PyUserInput是一个使用python的跨平台的操作鼠标和键盘的模块,使用非常方便。支持的平台及依赖如下:

  • Linux - Xlib
  • Mac - Quartz, AppKit
  • Windows - pywin32, pyHook

实例化一个鼠标和键盘对象,如下所示:

from pymouse import PyMouse

from pykeyboard import PyKeyboard

m = PyMouse()

k = PyKeyboard()

操作鼠标和键盘,如下所示:

m.click(190,70,1)#移动并且在xy位置点击

time.sleep(2)

m.click(190, 200, 1)#移动并且在xy位置点击

time.sleep(2)

k.tap_key(k.function_keys[5])#–点击功能键F5

以上是 如何使用Python自动控制windows桌面 的全部内容, 来源链接: utcz.com/z/359817.html

回到顶部