Полная настройка проекта Scrapy с нуля: руководство для начинающих

18.11.2025
63886

3 мин
27

Scrapy – мощный и гибкий фреймворк для веб-скрапинга на Python. Правильная конфигурация проекта Scrapy имеет решающее значение для эффективного извлечения данных. В этом руководстве мы рассмотрим все этапы настройки проекта Scrapy с нуля, от создания проекта до продвинутых конфигураций, необходимых для обхода блокировок и эффективного сбора данных.

Создание и структура проекта Scrapy

Установка Scrapy и создание нового проекта

Прежде всего, убедитесь, что у вас установлен Python. Scrapy устанавливается с помощью pip:

pip install scrapy

Создайте новый проект Scrapy с помощью команды scrapy startproject:

scrapy startproject my_scrapy_project
cd my_scrapy_project

Обзор структуры проекта: файлы и директории

После создания проекта вы увидите следующую структуру:

my_scrapy_project/
    scrapy.cfg            # Файл конфигурации проекта
    my_scrapy_project/
        __init__.py
        items.py          # Определение структур данных (Items)
        middlewares.py    # Обработчики запросов и ответов (Middleware)
        pipelines.py      # Обработка извлеченных данных (Pipelines)
        settings.py       # Основные настройки проекта
        spiders/          # Каталог для пауков (Spiders)
            __init__.py

scrapy.cfg содержит настройки развертывания проекта. items.py определяет классы Item, представляющие извлеченные данные. middlewares.py позволяет перехватывать и изменять запросы и ответы. pipelines.py обрабатывает извлеченные Items. settings.py содержит глобальные настройки проекта. spiders/ — каталог, где хранятся файлы пауков.

Настройка settings.py: основные параметры

settings.py — ключевой файл конфигурации проекта. В нем задаются различные параметры, влияющие на работу Scrapy.

Важные параметры: `USER_AGENT`, `ROBOTSTXT_OBEY`, `CONCURRENT_REQUESTS_PER_DOMAIN`

USER_AGENT: Определяет User-Agent, который Scrapy будет использовать при отправке запросов. Важно изменить его, чтобы не идентифицироваться как бот.
```
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
```
ROBOTSTXT_OBEY: Указывает, должен ли Scrapy следовать правилам, указанным в файле robots.txt. Рекомендуется устанавливать в False только в случае крайней необходимости и с пониманием последствий.
```
ROBOTSTXT_OBEY = False
```
CONCURRENT_REQUESTS_PER_DOMAIN: Ограничивает количество одновременных запросов к одному домену. Регулировка этого параметра помогает избежать перегрузки сервера и блокировок.
```
CONCURRENT_REQUESTS_PER_DOMAIN = 16
```

Другие важные параметры:

DOWNLOAD_DELAY: Задержка между запросами (в секундах).
ITEM_PIPELINES: Список обработчиков (Pipelines), применяемых к извлеченным данным.
COOKIES_ENABLED: Включение/выключение обработки cookies.

Настройка логирования и отладки

Для отладки и мониторинга работы Scrapy полезно настроить логирование. Можно изменить уровень логирования и файл, в который будут записываться логи.

LOG_LEVEL = 'INFO'
LOG_FILE = 'scrapy.log'

Настройка пауков (spiders) и middleware

Создание и настройка первого паука

Пауки (Spiders) определяют, как Scrapy будет обходить веб-сайты и извлекать данные. Создайте новый файл паука в директории spiders/ (например, my_spider.py):

import scrapy

class MySpider(scrapy.Spider):
    name = 'my_spider'
    start_urls = ['http://example.com']

    def parse(self, response):
        yield {
            'title': response.xpath('//title/text()').get(),
        }

Здесь name – уникальное имя паука. start_urls – список URL-адресов, с которых начинается обход. parse() – функция, которая обрабатывает ответы сервера и извлекает данные.

Использование Middleware для обработки запросов и ответов

Middleware позволяют перехватывать и изменять запросы и ответы, проходящие через Scrapy. Это полезно для добавления заголовков, обработки прокси, повторных попыток и т.д.

Пример Middleware для добавления User-Agent:

class CustomUserAgentMiddleware:
    def process_request(self, request, spider):
        request.headers['User-Agent'] = 'Mozilla/5.0...'

Затем Middleware нужно включить в settings.py:

DOWNLOADER_MIDDLEWARES = {
    'my_scrapy_project.middlewares.CustomUserAgentMiddleware': 543,
}

Число 543 – приоритет Middleware. Чем меньше число, тем раньше выполняется Middleware.

Продвинутые настройки и запуск проекта

Настройка прокси и User-Agent для обхода блокировок

Чтобы избежать блокировок, используйте прокси и динамически меняйте User-Agent. Для прокси можно использовать Middleware:

class ProxyMiddleware:
    def process_request(self, request, spider):
        request.meta['proxy'] = 'http://your_proxy_address:port'

Также можно использовать сторонние библиотеки для управления прокси, такие как scrapy-proxies.

Для ротации User-Agent можно использовать готовые Middleware или написать свой, выбирая случайный User-Agent из списка.

Запуск проекта Scrapy и распространенные ошибки

Для запуска паука используйте команду:

scrapy crawl my_spider

Распространенные ошибки:

403 Forbidden: Сервер отклоняет запросы. Решение: меняйте User-Agent, используйте прокси, регулируйте DOWNLOAD_DELAY.
Blocked by robots.txt: Scrapy пытается соблюдать правила robots.txt. Решение: установите ROBOTSTXT_OBEY = False (с осторожностью).
Проблемы с кодировкой: Убедитесь, что используете правильную кодировку при обработке текста.
Неправильные XPath/CSS селекторы: Проверьте правильность селекторов для извлечения данных.

Заключение

Правильная настройка проекта Scrapy – залог успешного веб-скрапинга. Начиная с создания проекта, конфигурации settings.py, настройки пауков и middleware, заканчивая обходом блокировок и обработкой распространенных ошибок – все эти шаги критически важны. Помните о необходимости соблюдения этических норм и правил веб-сайтов при сборе данных.