RPA 可视化组件中有关拾取器的使用及思考
问题:
想知道一下,各个拾取类型,都代表着什么,会有什么样的拾取效果?
F6:IE 拾取,
F9:Chrome 拾取,
F10:Firefox 拾取,
三者都有什么异同区别???😂 😂 😂
ESC:退出本次拾取
F2 :智能拾取开启
开启后默认为系统智能判断所需拾取的页面并自动切换拾取方式。如不需要智能模式,则可以通过 F2 手动关闭。
F3 :CS 拾取
技术选型:pywinauto,封装 Win32 的 api,适用于 MFC,VB6,VCL,简单的 WinForms 控件和大多数旧的遗留应用程序。
适用范围:大部分基于 win32 Control 设计开发的客户端软件;
优点:比较稳定、适用范围较广;
缺点:对于不是依赖 win32 Control 开发的客户端就无法拾取,如 EXCEL 的 cell 都是通过代码绘制的就无法拾取。
F4:UIA 拾取
技术选型:uiautomation,封装的 windows 中的 uia 框架,适用于 WinForms,WPF,商店应用,Qt5,浏览器应用。
适用范围:几乎可以适用于所有 C/S、B/S 页面(个别可能出现无法拾取的情况,但拾取范围大于 CS 拾取);
优点:拾取范围大、适用性广;
缺点:部分软件控件属性可能随时间推移变化,导致第二次执行就无法执行。
F5:图片拾取
适用范围:适用于所有客户端、网页等。
优点:拾取范围大
缺点:受分辨率、缩放等影响,控件任何微小的变化都会导致图片点击无法点击。(一般换电脑就需要重新拾取)
F8:区域拾取
适用范围:适用于所有客户端、网页等。
优点:拾取范围大,可以和其他(除图片拾取)拾取方式配合使用。
缺点:受缩放,控件位置等影响,此功能主要基于拾取控件的相对位置点击,受限于拾取控件位置是否变化,需要点击控件位置是否变化。
先切换 F3(CS 拾取)拾取到一个控件后,再按 F8(区域拾取),就可以实现基于 CS 拾取的偏移拾取,其他拾取也同理。
F7:Java 拾取
适用范围:适用于 java 类的客户端,或网页;
优点:可以解决 Java 类产品的拾取,如 Oracle EBS 等产品;
缺点:适用范围小,受 java 版本影响,现阶段只支持 1.6、1.7、1.8 版本。
java 拾取需要安装 java 插件,默认如果没有安装的话就会弹出是否安装插件的提示框。拾取和执行都是靠安装的插件来实现。
F6:IE 拾取(Web)
适用范围:适用于所有网页控件 Web;
优点:比较稳定,自由化程度高(执行路径可自定义),支持 ScrollIntoView;
缺点:执行速度受限于 ie 本身,如执行过程中 ie 崩溃。
F9 和 F10:Chrome 和 Firefox 拾取
适用范围:只适用于谷歌、火狐这种专门的浏览器;
优点:相对比较稳定;
缺点:需要安装插件,有些电脑需要管理员才能执行谷歌类操作。
此两种拾取需要安装插件,如果插件没加载成功则无法拾取,RPA10 之后可以自动弹出安装提示,也可自行在工具栏中添加插件,具体可查看链接:加载 Google 和 Firefox 浏览器插件。
F11:CV 拾取
技术选型:基于计算机视觉 computer vision,可以说是人工智能的拾取方式。
适用范围:适用于所有控件
优点:适用范围超大
缺点:需要连外网,执行速度和成功率受限网络速度和服务器识别功能。
运行时,基于视觉识别操作,用人工智能提升界面可操作性,因此需要连接外网,且该方法占用 API 使用次数。
F12:退出录制拾取
总结
对于元素或位置拾取,主要应用对象有三类,也就是自动化的操作对象:系统 system,客户端软件 client,浏览器 browser。
系统工具(文件资源管理器):
F3,CS 拾取
F4,UIA 拾取
客户端软件 (native app):
F3,CS 拾取(windows 软件)
F4,UIA 拾取(windows 软件)
F5,Java 拾取(java 类客户端)
浏览器应用(web app):
F6,IE 拾取
F9,Chrome 拾取
F10,Firefox 拾取
(对于 web 页面的元素拾取,可以使用浏览器的开发者工具,结合 is-rpa 支持的 selector 拾取方式: CSS 定位,xpath 定位)
最重要的在于能够确定出页面元素的位置表达式,chrome,firefox 插件也是为了拾取方便,如果你能直接填写到属性框中,那就更好。
后记
RPA,流程自动化,无非就将人工操作的流程,照样子,用程序实现出来,为的是方便 复用 这组操作。
所以,对操作元素的 定位 是一个非常重要的基础。
从简来说,都是先定位,后操作。
为了能适应更多的场景条件,于是增加了变量,为的是将 操作 和 数据 分离。
** 扩展阅读:**
iS-RPA 从起步到飙速(六)—— 攻伐利器之鼠标 ](https://support.i-search.com.cn/article/1582541266472)
回帖内容已被屏蔽。
收藏一下:)
收藏一下
不错呦
写的很好!终于找到我想看的东西了。~css 定位、xpath 定位。
又看了一遍
哇,这不就是一篇优秀文章吗 ~~~~~~~
谢谢,祝更好。 😄
看到了,谢谢啦 ~ 😄
一键全屏,万事我有 😆
帮你转达至相关部门
提问后,得到解决,再二次总结👍👍
感觉发贴的时候,编辑器的高度有点小,连屏幕高度都没有达到。如果内容较多时,就不太方便…… 😄 😄
这个编辑器支持 只要你输入网址(社区的 URL) 就会自动转化为文章标题
很感谢你自己完善内容,给你点个赞
感谢感谢 🌸。
我搜索标题和正文 “拾取器“ 都没有找到合适的。。。 😂
iS-RPA 从起步到飙速(六)—— 攻伐利器之鼠标
有的,我找一下发你