Scrapy для Python: Как быстро научиться веб-скрапингу, используя примеры W3Schools на русском?

04.11.2025
62027

5 мин
21

В эпоху больших данных веб-скрапинг стал неотъемлемой частью многих бизнес-процессов. Scrapy – мощный и гибкий Python-фреймворк, предназначенный для извлечения данных с веб-сайтов. В этой статье мы рассмотрим, как быстро освоить Scrapy, используя примеры, адаптированные для русскоязычной аудитории, с ориентацией на стиль и простоту W3Schools.

Что такое Scrapy и зачем он нужен?

Определение и основные возможности Scrapy: для чего используется и какие задачи решает.

Scrapy – это фреймворк с открытым исходным кодом, предназначенный для веб-скрапинга и извлечения данных. Он предоставляет структурированный подход к парсингу веб-страниц, облегчая извлечение нужной информации и её сохранение в различных форматах. Scrapy автоматизирует процесс обхода веб-сайтов, следуя по ссылкам и извлекая данные в соответствии с заданными правилами. Его часто используют для:

Сбора данных для анализа рынка.
Агрегации контента с различных ресурсов.
Мониторинга цен и изменений на сайтах.
Создания поисковых ботов и индексации контента.

Преимущества Scrapy перед другими библиотеками для веб-скрапинга (BeautifulSoup, Selenium): когда стоит выбирать Scrapy.

Хотя существуют и другие библиотеки для веб-скрапинга, такие как BeautifulSoup и Selenium, Scrapy имеет ряд преимуществ:

Архитектура: Scrapy – это полноценный фреймворк с асинхронной архитектурой, что позволяет ему эффективно обрабатывать большое количество запросов параллельно.
Функциональность: Scrapy предоставляет встроенные инструменты для обработки данных, управления запросами и сохранения результатов.
Расширяемость: Scrapy легко расширяется с помощью промежуточных слоев (middlewares) и конвейеров обработки данных (pipelines).

В отличие от BeautifulSoup, который в основном используется для парсинга HTML и XML, Scrapy предлагает комплексное решение для веб-скрапинга. Selenium, с другой стороны, предназначен для автоматизации браузеров и может быть полезен для скрапинга динамически загружаемого контента, но Scrapy более эффективен для задач, где не требуется взаимодействие с JavaScript.

Установка и настройка Scrapy на Python (пошаговая инструкция)

Установка Scrapy с использованием pip: подробная инструкция для Windows, macOS и Linux.

Установить Scrapy можно с помощью пакетного менеджера pip. Откройте терминал или командную строку и выполните следующую команду:

pip install scrapy

Убедитесь, что у вас установлена последняя версия pip:

pip install --upgrade pip

Для пользователей Windows рекомендуется установить wheel, чтобы избежать проблем со сборкой зависимостей:

pip install wheel

Настройка окружения для разработки: создание виртуального окружения и установка необходимых зависимостей.

Рекомендуется создавать виртуальное окружение для каждого проекта Scrapy, чтобы изолировать зависимости. Это можно сделать с помощью venv:

python -m venv venv

Активируйте виртуальное окружение:

Windows: venv\Scripts\activate
macOS/Linux: source venv/bin/activate

После активации виртуального окружения установите Scrapy:

pip install scrapy

Создание первого скрапера на Scrapy: пошаговый пример (W3Schools на русском)

Создание нового проекта Scrapy: структура проекта и основные файлы.

Создайте новый проект Scrapy с помощью команды:

scrapy startproject w3schools_scraper

Эта команда создаст директорию w3schools_scraper со следующей структурой:

w3schools_scraper/
    scrapy.cfg            # Файл конфигурации проекта
    w3schools_scraper/
        __init__.py
        items.py            # Определение структуры данных
        middlewares.py      # Промежуточные слои
        pipelines.py        # Конвейеры обработки данных
        settings.py           # Настройки проекта
        spiders/
            __init__.py

Определение Spider: написание кода для извлечения данных с веб-страницы (пример на основе W3Schools на русском языке).

Создайте новый файл w3schools_spider.py в директории w3schools_scraper/spiders:.

import scrapy


class W3SchoolsSpider(scrapy.Spider):
    name = "w3schools"
    start_urls = ['https://www.w3schools.com/tags/default.asp']

    def parse(self, response):
        for row in response.xpath('//table[@class="w3-table w3-bordered test w3-striped"]/tr[position()>1]'):
            yield {
                'tag': row.xpath('./td[1]/a/text()').get(),
                'description': row.xpath('./td[2]/text()').get(),
            }

Этот код определяет Spider с именем w3schools, который начинает с URL https://www.w3schools.com/tags/default.asp и извлекает данные о HTML тегах.

Чтобы запустить скрапер, выполните команду:

scrapy crawl w3schools -o output.json

Эта команда запустит скрапер и сохранит результаты в файл output.json.

Основные компоненты Scrapy и их взаимодействие

Items: определение структуры данных для хранения извлеченной информации.

Items – это контейнеры для хранения извлеченных данных. Они определяют структуру данных, которую вы хотите извлечь с веб-страницы. В файле items.py определите структуру данных для HTML тегов:

import scrapy


class W3SchoolsItem(scrapy.Item):
    tag = scrapy.Field()
    description = scrapy.Field()

Затем в Spider используйте W3SchoolsItem для хранения данных:

from w3schools_scraper.items import W3SchoolsItem

import scrapy


class W3SchoolsSpider(scrapy.Spider):\n    name = "w3schools"
    start_urls = ['https://www.w3schools.com/tags/default.asp']

    def parse(self, response):
        for row in response.xpath('//table[@class="w3-table w3-bordered test w3-striped"]/tr[position()>1]'):
            item = W3SchoolsItem()
            item['tag'] = row.xpath('./td[1]/a/text()').get()
            item['description'] = row.xpath('./td[2]/text()').get()
            yield item

Pipelines: обработка и сохранение извлеченных данных (сохранение в файл, базу данных и т.д.).

Pipelines – это компоненты, которые обрабатывают извлеченные данные после того, как они были извлечены Spider’ом. Они могут использоваться для очистки данных, валидации, сохранения в базу данных или файл. В файле pipelines.py можно определить конвейер для сохранения данных в файл:

import json


class JsonWriterPipeline:

    def __init__(self):
        self.file = open('items.json', 'w')

    def process_item(self, item, spider):
        line = json.dumps(dict(item)) + "\n"
        self.file.write(line)
        return item

В файле settings.py необходимо активировать конвейер:

ITEM_PIPELINES = {
    'w3schools_scraper.pipelines.JsonWriterPipeline': 300,
}

Продвинутые техники и возможности Scrapy

Использование CSS селекторов и XPath для извлечения данных: подробное руководство с примерами.

Scrapy поддерживает CSS селекторы и XPath для извлечения данных. XPath предоставляет более мощные возможности для навигации по XML и HTML документам, в то время как CSS селекторы более просты в использовании для простых задач. Рассмотрим примеры:

XPath: //table[@class="w3-table w3-bordered test w3-striped"]/tr[position()>1]/td[1]/a/text() – извлекает текст из всех ссылок в первом столбце таблицы с классом w3-table w3-bordered test w3-striped.
CSS селектор: .w3-table.w3-bordered.test.w3-striped tr:nth-child(n+2) td:first-child a::text – делает то же самое, используя CSS селектор.

Обработка ошибок и исключений: как сделать скрапер более устойчивым к сбоям.

При веб-скрапинге неизбежны ошибки и исключения. Важно обрабатывать их, чтобы скрапер не останавливался. Scrapy предоставляет возможность обрабатывать ошибки на разных уровнях. Например, можно обрабатывать ошибки при запросе страницы:

import scrapy


class MySpider(scrapy.Spider):
    name = "myspider"
    start_urls = ["http://www.example.com"]

    def parse(self, response):
        if response.status == 200:
            # Обработка успешного ответа
            pass
        else:
            self.logger.error(f"Ошибка при запросе {response.url}: {response.status}")

Также можно использовать промежуточные слои (middlewares) для обработки ошибок:

from scrapy import signals


class MySpiderMiddleware:

    @classmethod
    def from_crawler(cls, crawler):
        s = cls()
        crawler.signals.connect(s.spider_error, signal=signals.spider_error)
        return s

    def spider_error(self, failure, response, spider):
        # Обработка ошибок Spider'а
        self.logger.error(f"Ошибка в Spider {spider.name}: {failure}")

Заключение

Scrapy – мощный инструмент для веб-скрапинга, который позволяет эффективно извлекать данные с веб-сайтов. Освоив основные концепции и техники, представленные в этой статье, вы сможете создавать надежные и масштабируемые скраперы для решения различных задач. Использование примеров, адаптированных для русскоязычной аудитории и ориентированных на стиль W3Schools, поможет вам быстро и легко начать работу с Scrapy. Помните о необходимости соблюдения этических норм и правил веб-скрапинга, чтобы избежать блокировок и проблем с законом.