Rpa 17 号会员
    •  7 回帖  •  973 浏览  •  2019-10-12 17:28:41

网页大数据量抓取优化建议 

现在到网上商店搜了一本书，需要把价格，作者，日期都抓取下来，需要找规律，然后用代码方式实现抓取，还是门槛太高。
可否实现这个功能：我先拾取第一条价格，然后系统会给出一个数据爬取的向导，我再抓第2条的价格，设计器就懂了规律，直接问我要抓几条数据。我填好要抓500条数据后，系统就会自动翻页把价格都抓好，放到一个dataframe数据里。
而且向导还会问我是否要抓其它字段，我就再拾取一下作者和日期，都全部给我抓出来。完全是0代码获取数据。