机器学习, 数据采集, 数据分析, web网站，IS-RPA，APP
      •  0 回帖  •  781 浏览  •  2019-07-31 17:40:26

获取网站全部 table 或者 li 的文本内容

思路：

因为基本上所有的页面文本元素，都有下一页。
而他的 selector 基本上可以说是唯一的。
这样的话，就可以通过，循环点击它，然后结合上篇的获取单页面全部文本。来获取全部内容

文本获取完，怎么判断

>1、直到下个页面文本内容 == 上个页面文本内容
>2、判断title是否重复

具体情况根据网站来判断，因为我试的这个网站。下一页 有一个唯一的 id。所以他的 selector 属性，就只写了这个。
网站到了最后一页时，继续点击，页面不变。
所以，我这里就通过判断文本是否重复。