优秀企业网站_佛山网站seo_智能建站软件_东莞网络营销公司

import scrapyclass MainSpider(scrapy.Spider):name = "main"# allowed_domains = ["www.xxx.com"]# 定义第一页的页面链接，会自动爬取start_urls = ["https://pic.yesky.com/c/6_25152.shtml"]# 定义一个页面连接模板page_url = 'https://pic.yesky.com/c/6_25152_%d.shtml'# 定义一个页码变量, 从2开始， 因为第一页已经自动发送请求了page_num = 2def parse(self, response):# 获得所有的li元素并将这些li存入列表中，封装为Selector对象返回li_list = response.xpath('//ul[@class="classification_listContent"]/li')# 循环获得所有li标签下的第二个a标签的文本for li in li_list:# 获得每个图片的描述img_name = li.xpath('./a[2]/text()').extract_first()print(img_name)# 可以将爬取到的数据存入item对象中# 判断要爬取的页面数量大于等于5时# 则不再进行爬取新的页面if self.page_num <= 5:# 拼接页面的链接new_page_url = format(self.page_url % self.page_num)# 拼接完成后页码加一，用于下一次爬取，下一个页面的数据self.page_num += 1# 使用  yield scrapy.Request(请求的url， 对返回数据进行处理的回调函数）# 手动向一个URL地址发送请求# 传入两个参数，一个请求的URL地址，一个回调函数# 当请求成功时，会将响应的数据传给自身的parse函数继续执行里面的逻辑代码yield scrapy.Request(url=new_page_url, callback=self.parse)
				   柳州360优化在线生成个人网站佛山搜索引擎优化广州seo推广公司网站风格苏州网站公司武汉网站公司宜昌网站建设网站推广专家成都seo推广西安竞价托管给我一个网站seo辉煌电商平台专业网站优化厦门网站推广设计网页嘉兴做网站嘉兴网站制作我要做网站成都优化外包宁波小程序开发青岛网络优化免费申请个人网站东莞小程序制作淄博网站建设公司网页设计好的公司西安网页设计巩义网站优化公司建网站多少钱济宁网站运营策略大连网页设计公司