技术摘要：
一种基于图片分析的移动终端元素定位方法及系统，所述方法包括：获取用户操作界面上的手机截屏，得到图片A，所述图片A中包含需要定位的元素，获取用户操作界面上与图片A具有相同背景图像的手机截屏，得到图片B，所述图片B中不包含需要定位的元素；分别获取图片A的图像  全部
背景技术：
在现有技术中，手机操作系统移动测试框架WebDriverAgent是Facebook在 SeleniumConf大会上推出了一款新的手机移动测试框架，该工具可以通过WEB页面解析手 机设备界面元素，其中手机屏幕截图、界面元素树和单个元素的属性信息，包括名称、位置 坐标等三者对照展示。 其现有测试框架在解析界面元素时，图片之上的元素无法获取元素的属性，以微 博为例，九宫格样式的图片中，有一个标签按钮随机出现在图片上的某个位置，虽然该框架 的界面解析工具截图中有该标签按钮，但是界面元素解析树中并没有该按钮，更无法获取 该元素的属性信息。 综上所述，现有技术存在WebDriverAgent测试框架无法识别图片上的元素导致自 动化程序无法操作某些控件，导致自动化的功能点不完整的问题。
技术实现要素：
为实现上述目的，本发明实施例提供一种基于图片分析的移动终端元素定位方法 及系统，通过本发明解决了WebDriverAgent测试框架无法识别图片上的元素导致自动化程 序无法操作某些控件，导致自动化的功能点不完整的问题。 一方面，本发明实施例提供一种基于图片分析的移动终端元素定位方法，所述方 法包括： 获取用户操作界面上的手机截屏，得到图片A，所述图片A中包含需要定位的元素， 获取用户操作界面上与图片A具有相同背景图像的手机截屏，得到图片B，所述图片B中不包 含需要定位的元素； 分别获取图片A的图像数据a、以及图片B的图像数据b； 将所述图像数据a减去图像数据b得到图像数据c，所述图像数据c中只包含所述需 要定位的元素； 对所述图像数据c进行轮廓确定，以及确定所述轮廓的中心点，以该中心点的坐标 位置定位所述需要定位的元素。 另一方面，本发明实施例还提供一种基于图片分析的移动终端元素定位系统，所 述系统包括： 图片获取单元，用于获取用户操作界面上的手机截屏，得到图片A，所述图片A中包 含需要定位的元素，获取用户操作界面上与图片A具有相同背景图像的手机截屏，得到图片 B，所述图片B中不包含需要定位的元素； 图片读取单元，用于分别获取图片A的图像数据a、以及图片B的图像数据b； 4 CN 111580902 A 说　明　书 2/5 页 数据处理单元，用于将所述图像数据a减去图像数据b得到图像数据c，所述图像数 据c中只包含所述需要定位的元素； 坐标计算单元，用于对所述图像数据c进行轮廓确定，以及确定所述轮廓的中心 点，以该中心点的坐标位置定位所述需要定位的元素。 上述技术方案具有如下有益效果：本发明与现有技术比较，本技术方案填补了使 用WebdriverAgent无法定位图片上元素的空白，使得自动化程序能够正常测试图片上元素 涉及到的所有功能点，因此待测APP的UI自动化测试更加全面完整。 附图说明 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。 图1是本发明实施例的基于图片分析的移动终端元素定位方法的流程图； 图2是本发明实施例的基于图片分析的移动终端元素定位系统的示意图； 图3是本发明具体实施例中图片A的示意图； 图4是本发明具体实施例中图片B的示意图； 图5是本发明具体实施例中包含需要定位的元素及其背景图像的图片A的示意图； 图6是本发明具体实施例中不包含需要定位的元素的背景图像的图片B的示意图； 图7是本发明具体实施例中图像数据c的图片； 图8是本发明具体实施例中图像数据c进行灰度化处理后的图片； 图9是本发明具体实施例中图像数据c进行灰度化、过滤处理后的图片； 图10是本发明具体实施例中图像数据c进行轮廓确定后的图片； 图11是本发明具体实施例中需要定位的元素的标记图片。