BeautifulSoup: Как получить все страницы сайта на Python?

BeautifulSoup предоставляет методы для поиска элементов по тегам, атрибутам и CSS-селекторам. Чтобы найти все ссылки на странице, можно использовать метод find_all() с тегом <a>:

from bs4 import BeautifulSoup

def get_all_links(html: str) -> list[str]:
    """Извлекает все ссылки (теги <a>) из HTML-кода.

    Args:
        html: HTML-код страницы.

    Returns:
        Список URL-адресов, найденных на странице.
    """
    soup = BeautifulSoup(html, 'html.parser')
    links = soup.find_all('a')
    return links

Извлечение атрибута ‘href’ из каждой ссылки

Каждый тег <a> содержит атрибут href, который указывает на URL-адрес, на который ведет ссылка. Чтобы извлечь этот атрибут, можно обратиться к элементу как к словарю:

def extract_hrefs(links: list) -> list[str]:
    """Извлекает атрибуты 'href' из списка тегов <a>.

    Args:
        links: Список тегов <a>, полученных из BeautifulSoup.

    Returns:
        Список URL-адресов.
    """
    hrefs = []
    for link in links:
        href = link.get('href')
        if href:
            hrefs.append(href)
    return hrefs

Обработка относительных и абсолютных URL-адресов

URL-адреса могут быть относительными (например, /about) или абсолютными (например, https://example.com/about). Для корректной работы парсера необходимо уметь преобразовывать относительные URL-адреса в абсолютные. Это можно сделать с помощью библиотеки urllib.parse:

from urllib.parse import urljoin

def make_absolute_url(base_url: str, url: str) -> str:
    """Преобразует относительный URL-адрес в абсолютный.

    Args:
        base_url: Базовый URL-адрес сайта.
        url: Относительный или абсолютный URL-адрес.

    Returns:
        Абсолютный URL-адрес.
    """
    return urljoin(base_url, url)

Рекурсивный обход сайта для получения всех страниц

Реализация функции для обхода страниц и сбора ссылок

Для обхода всего сайта необходимо реализовать рекурсивную функцию, которая будет посещать каждую страницу, извлекать ссылки и повторять процесс для каждой новой ссылки:

def crawl_website(url: str, visited: set[str], max_depth: int, depth: int = 0) -> None:
    """Рекурсивно обходит сайт, собирая все URL-адреса.

    Args:
        url: URL для начала обхода.
        visited: Множество уже посещенных URL-адресов.
        max_depth: Максимальная глубина обхода.
        depth: Текущая глубина обхода (по умолчанию 0).
    """
    if url in visited or depth > max_depth:
        return

    visited.add(url)
    print(f"Посещаю: {url} (глубина: {depth})")

    html = get_html(url)
    if not html:
        return

    links = get_all_links(html)
    hrefs = extract_hrefs(links)

    for href in hrefs:
        absolute_url = make_absolute_url(url, href)
        crawl_website(absolute_url, visited, max_depth, depth + 1)

Предотвращение дублирования ссылок (использование множеств)

Чтобы избежать повторного посещения одних и тех же страниц, необходимо использовать множество (set) для хранения уже посещенных URL-адресов.

Ограничение глубины обхода для предотвращения бесконечных циклов

Без ограничения глубины обхода парсер может зациклиться, посещая одни и те же страницы снова и снова. Параметр max_depth позволяет ограничить глубину рекурсии и предотвратить бесконечные циклы.

Управление скоростью обхода (задержки между запросами)

Чтобы не перегружать сервер и избежать блокировки, необходимо добавлять задержки между запросами. Это можно сделать с помощью функции time.sleep():

import time

def crawl_website(url: str, visited: set[str], max_depth: int, delay: float = 1.0, depth: int = 0) -> None:
    """Рекурсивно обходит сайт, собирая все URL-адреса с задержкой.

    Args:
        url: URL для начала обхода.
        visited: Множество уже посещенных URL-адресов.
        max_depth: Максимальная глубина обхода.
        delay: Задержка в секундах между запросами (по умолчанию 1 секунда).
        depth: Текущая глубина обхода (по умолчанию 0).
    """
    if url in visited or depth > max_depth:
        return

    visited.add(url)
    print(f"Посещаю: {url} (глубина: {depth})")

    html = get_html(url)
    if not html:
        return

    links = get_all_links(html)
    hrefs = extract_hrefs(links)

    for href in hrefs:
        absolute_url = make_absolute_url(url, href)
        time.sleep(delay)  # Задержка перед следующим запросом
        crawl_website(absolute_url, visited, max_depth, depth + 1)

Сохранение полученных URL-адресов и дальнейшая обработка

Запись списка URL-адресов в файл

После завершения обхода сайта можно сохранить список собранных URL-адресов в файл для дальнейшей обработки:

def save_urls_to_file(urls: set[str], filename: str) -> None:
    """Сохраняет список URL-адресов в файл.

    Args:
        urls: Множество URL-адресов.
        filename: Имя файла для сохранения.
    """
    with open(filename, 'w') as f:
        for url in urls:
            f.write(url + '\n')

Примеры дальнейшей обработки собранных страниц (парсинг контента)

Собранные URL-адреса можно использовать для дальнейшего парсинга контента каждой страницы. Например, можно извлекать заголовки, текст, изображения или другие интересующие данные.

Советы по оптимизации и масштабированию парсера

• Использование асинхронности: Для ускорения парсинга можно использовать асинхронные запросы с помощью библиотек asyncio и aiohttp.
• Многопоточность/многопроцессность: Распараллеливание задачи на несколько потоков или процессов может значительно сократить время обхода сайта.
• Кэширование: Кэширование результатов запросов позволяет избежать повторной загрузки одних и тех же страниц.
• User-Agent: Указание User-Agent, отличного от стандартного, может помочь избежать блокировки со стороны сервера.
• Обработка robots.txt: Всегда проверяйте файл robots.txt на сайте, чтобы убедиться, что вы не нарушаете правила парсинга.