鼠标点击可视化组件之一个 Web 页面的元素拾取问题

使用鼠标点击可视化组件,web 拾取页面的元素后,执行时 RPA 总是不能准确定位。

(数据已经脱敏,图示内容仅为描述操作流程)
操作步骤如图,1-2-3,依次筛选选择产品。

图 1,刚进入页面未选择时的截图:
鼠标点击可视化组件之一个 Web 页面的元素拾取问题

1,公司栏,当选择 ”福建厦门测试股份有限公司“时,产品栏中,非所属公司的产品就会隐藏掉。

2,户口性质栏,默认是”城市“。

3,选择”套餐 D(a)“

图 2,选择完产品后的截图:
鼠标点击可视化组件之一个 Web 页面的元素拾取问题

而当 is-rpa 执行时,总是按照拾取的页面元素的位置来执行的(UIA),而不是按照 web 页面结构中元素的属性定位来的。
所以每次执行,鼠标总是在图 1 中的”套餐 D(a)“位置点击。
而实际上 当执行到”选择产品“时,”套餐 D(a)“已经不在原来的位置了。

图 1 对应的页面 html:
鼠标点击可视化组件之一个 Web 页面的元素拾取问题

图 2 对应的页面 html:
鼠标点击可视化组件之一个 Web 页面的元素拾取问题

我也找了一个 is-rpa 的安装目录,发现相关功能是在 python/ubpa 库中,已经加密了。
从文件名看,好像没有使用 selenium 软件包。

可能原因:
1,is-rpa,web UI 自动化,仍然使用了 UIA 拾取的位置坐标。
2,web,chrome,firefox 拾取的属性在实际执行中没有用到。