scrapy看的云里雾罩,有人懂吗

搬瓦工机场JMS

下面这个函数段,是什么意思

def parse(self, response):

没有看到在哪里调用啊

  1.     def parse(self, response):
  2.         page = response.url.split("/")[-2]
  3.         filename = ‘quotes-%s.html’ % page
  4.         with open(filename, ‘wb’) as f:
  5.             f.write(response.body)
  6.         self.log(‘Saved file %s’ % filename)

复制代码

陕西网友:这个语言没听过,不过这段函数的意思是把收到的response写进文件里。把URL用/拆分,然后取倒数第二个单词,和quotes组成文件名。
吉林网友:将返回的页面quotes-*.html(*代表页码)的body部分保存成文件,功能很好懂啊,没什么难的地方啊
广西网友:语言就是python啊
海南网友:怪不得这么眼熟,哈哈
广西网友:response.url.split 是一个整体变量还是字符串
江苏网友:
response.url 是个网址(字符串)
response.url.split("/") ,是将这个网址  以 “/” 为标志 分割成N个字符串
response.url.split("/")[-2] ,是取 分割后得到的N个字符串 中的倒数第二个
最后是个字符串
北京网友:你应该问的是response.url是一个整体变量还是字符串吧,这应该就是response对象的一个.url属性
.split是字符串的方法,按’/’拆分成列表,然后取列表的倒数第二个[-2]
海南网友:response 原来是一个库.你这个解释能看懂

香港网友:scrapy。mmp在pychram装这个模块,必须手动。折腾2小时**
河北网友:scrapy。mmp在pychram装这个模块,必须手动。折腾2小时**
安徽网友:加几个print不就完事了
海南网友:我已经搞定了
台湾网友:我想抓阿里巴巴,哥们给我一份规则好不好
台湾网友:既然都玩scrapy了,不如试试国人写的框架pyspider
http://docs.pyspider.org
江西网友:我也是刚学。不好意思。现在帮不了你。等我以后估计不是问题

以上信息转载自Hostloc。

未经允许不得转载:美国VPS_搬瓦工CN2 GIA VPS » scrapy看的云里雾罩,有人懂吗

赞 (0) 打赏

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏