fbpx

Как в scrapy осуществить переход на след страницу?

231 просмотра
0
0 Комментариев

Здравствуйте пишу парсер новостей на scrapy, мне нужно что бы он начинал парсить со стартового url открывал каждую новость извлекал данные, дальше переходил на след страницу и проделывал все тоже самое. У меня парсит только первую, а дальше идти не хочет(

class GuardianSpider(CrawlSpider):
 name = 'guardian'
 allowed_domains = ['theguardian.com']
  start_urls = ['https://www.theguardian.com/world/europe-news']
 
  rules = (
    Rule(LinkExtractor(restrict_xpaths=("//div[@class='u-cf index-page']",),
              allow=('https://www.theguardian.com/\w+/\d+/\w+/\d+/\w+',)),
    callback = 'parser_items'),
    Rule(LinkExtractor(restrict_xpaths=("//div[@class='u-cf index-page']",),
              allow=('https://www.theguardian.com/\w+/\w+?page=\d+',)),
    follow = True),
)


Добавить комментарий

0 Answers

Python Опубликовано 20.03.2019
Напишите свой ответ на данный вопрос.
Scroll Up