scrpay shell 获取信息基本操作方法

user-agent 是爬虫的标题头，有反爬措施的网站会识别爬虫的 agent，如果识别出是机器的情况下，会拒绝信息的返回。所以此时需要添加 user-agent，模仿浏览器让服务器认为是正常的访问。

scrapy shell 添加 user-agent 方法：

scrapy shell 命令

1.scrapy shell url　　#url 指你所需要爬的网址

2. 有些网址数据的爬取需要 user-agent，scrapy
shell 中可以直接添加头文件，

第①种方法

 scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 6.1)
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36"
url　　#url指你所需要爬的网址

第②种方法
 

　　scrapy shell

　　from scrapy import Request

　　req=Request("url",headers={‘User-Agent‘:"Mozilla/5.0
(Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86
Safari/537.36"})

　　resp=fetch(req)

3. 对于爬取到的网址的数据，希望将其保存到本地文件中，

　　with open("e:/python/text.txt",‘w‘) as f:

　　　　f.write(response.body.decode(‘utf-8‘))

4.scrapy shell 对于检验正则表达式和 css 以及 xpath 是很方便的用法，

scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like
Gecko) Chrome/59.0.3071.86 Safari/537.36" url　　#该步骤之后将得到一个页面请求的回答信息response

response.css(".job-name::attr(title)")　　#使用css提取到具体数据

以上便是几种通过框架中 shell 功能获取信息和存储信息的基本操作。