BeautifulSoup: Как парсить HTML с использованием драйвера и исходного кода страницы?

27.10.2025
18518

8 мин
298

Что такое BeautifulSoup и зачем он нужен?

BeautifulSoup — это Python-библиотека, предназначенная для парсинга HTML и XML документов. Она создает дерево разбора из HTML, которое можно легко обойти и извлечь нужные данные. BeautifulSoup упрощает задачи, связанные с веб-скрапингом, позволяя извлекать информацию, такую как заголовки, ссылки, таблицы и прочее содержимое веб-страниц.

Основная задача BeautifulSoup — предоставить удобный и интуитивно понятный интерфейс для навигации и поиска элементов в HTML-коде, а также для извлечения необходимой информации. Это особенно полезно, когда нужно автоматизировать процесс сбора данных с веб-сайтов для анализа, мониторинга или других целей.

Установка BeautifulSoup и необходимых библиотек (lxml, html.parser)

Для начала работы с BeautifulSoup необходимо установить библиотеку. Это можно сделать с помощью pip:

pip install beautifulsoup4

BeautifulSoup поддерживает различные парсеры, такие как lxml и html.parser. lxml является более быстрым и эффективным парсером, но требует дополнительной установки:

pip install lxml

Если lxml не установлен, можно использовать встроенный html.parser:

from bs4 import BeautifulSoup

html_doc = """ 
<html><head><title>Example Page</title></head>
<body><p>This is a paragraph.</p></body>
</html>
"""

soup = BeautifulSoup(html_doc, 'html.parser')
print(soup.prettify())

Обзор основных компонентов BeautifulSoup (Tag, NavigableString, BeautifulSoup object)

BeautifulSoup состоит из нескольких основных компонентов:

BeautifulSoup object: Представляет собой весь HTML-документ как структуру данных.
Tag: Соответствует HTML-тегу и содержит атрибуты и содержимое. Например, <p> или <div>.
NavigableString: Представляет собой текст внутри тега.

Парсинг HTML из исходного кода страницы

Чтение HTML-кода из файла или строки

Прежде чем начать парсинг, необходимо получить HTML-код. Это можно сделать, прочитав его из файла или строки:

from bs4 import BeautifulSoup

def read_html_from_file(filepath: str) -> str:
    """Читает HTML-код из файла."""
    with open(filepath, 'r', encoding='utf-8') as file:
        html_content = file.read()
    return html_content


def read_html_from_string(html_string: str) -> str:
    """Возвращает HTML-код из строки."""
    return html_string


file_path = 'example.html'
html_content = read_html_from_file(file_path)
# Альтернативно:
# html_content = read_html_from_string("<html><body><h1>Hello</h1></body></html>")

Создание объекта BeautifulSoup из HTML-кода

После получения HTML-кода создаем объект BeautifulSoup:

from bs4 import BeautifulSoup

def create_soup_object(html_content: str, parser: str = 'lxml') -> BeautifulSoup:
    """Создает объект BeautifulSoup из HTML-кода."""
    soup = BeautifulSoup(html_content, parser)
    return soup


soup = create_soup_object(html_content)

Навигация и поиск элементов в HTML-дереве (find, find_all, select)

Для поиска элементов в HTML-дереве используются методы find() и find_all():

find(name, attrs, recursive, string, **kwargs): Находит первый элемент, соответствующий заданным критериям.
find_all(name, attrs, recursive, string, limit, **kwargs): Находит все элементы, соответствующие заданным критериям.

Также можно использовать CSS-селекторы с помощью метода select():

from bs4 import BeautifulSoup

html_content = """
<html>
<body>
  <div class="main">
    <h1>Title</h1>
    <p class="paragraph">First paragraph.</p>
    <p class="paragraph">Second paragraph.</p>
  </div>
</body>
</html>
"""

soup = BeautifulSoup(html_content, 'html.parser')

# Найти первый элемент с тегом h1
h1_tag = soup.find('h1')
print(h1_tag)

# Найти все элементы с классом paragraph
paragraph_tags = soup.find_all('p', class_='paragraph')
print(paragraph_tags)

# Использовать CSS-селектор для поиска элементов
paragraph_tags_css = soup.select('div.main p.paragraph')
print(paragraph_tags_css)

Извлечение данных из найденных элементов (текст, атрибуты)

После нахождения элементов можно извлечь из них данные:

text: Возвращает текст внутри тега.
attrs: Возвращает словарь атрибутов тега.

from bs4 import BeautifulSoup

html_content = "<a href='https://example.com'>Example Link</a>"
soup = BeautifulSoup(html_content, 'html.parser')

link_tag = soup.find('a')

link_text = link_tag.text  # Извлечение текста
link_url = link_tag['href']  # Извлечение атрибута href

print(f"Текст ссылки: {link_text}")
print(f"URL ссылки: {link_url}")

Парсинг HTML с использованием драйвера (Selenium)

Зачем использовать драйвер для парсинга динамически генерируемого HTML?

Некоторые веб-страницы генерируют контент динамически с помощью JavaScript. В таких случаях, простой запрос HTML-кода не вернет полный контент, отображаемый в браузере. Для парсинга таких страниц необходимо использовать драйвер, такой как Selenium, который позволяет загружать страницу в браузере и получать уже сгенерированный HTML-код.

Настройка и запуск Selenium WebDriver (Chrome, Firefox)

Для использования Selenium необходимо установить библиотеку и скачать WebDriver для выбранного браузера (например, ChromeDriver для Chrome):

pip install selenium

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

def setup_selenium_driver(headless: bool = True) -> webdriver.Chrome:
    """Настраивает и запускает Selenium WebDriver."""
    chrome_options = Options()
    if headless:
        chrome_options.add_argument("--headless")  # Запуск в фоновом режиме
    driver = webdriver.Chrome(options=chrome_options)
    return driver

driver = setup_selenium_driver()

Получение HTML-кода страницы через Selenium

После запуска драйвера можно получить HTML-код страницы:

driver.get('https://example.com')
html_content = driver.page_source
driver.quit()

Передача HTML-кода из Selenium в BeautifulSoup для парсинга

Полученный HTML-код передается в BeautifulSoup для дальнейшего парсинга:

from selenium import webdriver
from bs4 import BeautifulSoup

def parse_dynamic_html(url: str) -> BeautifulSoup:
    """Получает HTML-код страницы с помощью Selenium и парсит его с помощью BeautifulSoup."""
    driver = webdriver.Chrome()
    driver.get(url)
    html_content = driver.page_source
    driver.quit()
    soup = BeautifulSoup(html_content, 'html.parser')
    return soup


soup = parse_dynamic_html('https://example.com')
print(soup.title)

Примеры практического использования BeautifulSoup с драйвером и исходным кодом

Парсинг данных со статических веб-страниц (примеры)

Пример: извлечение всех ссылок с веб-страницы:

from bs4 import BeautifulSoup
import requests

def get_links_from_url(url: str) -> list:
    """Извлекает все ссылки с веб-страницы."""
    response = requests.get(url)
    soup = BeautifulSoup(response.content, 'html.parser')
    links = [a['href'] for a in soup.find_all('a', href=True)]
    return links


links = get_links_from_url('https://example.com')
print(links)

Парсинг динамически загружаемого контента (примеры с Selenium)

Пример: парсинг таблицы, которая загружается после выполнения JavaScript:

from selenium import webdriver
from bs4 import BeautifulSoup

def parse_dynamic_table(url: str) -> list:
    """Парсит таблицу, которая загружается динамически с помощью JavaScript."""
    driver = webdriver.Chrome()
    driver.get(url)
    html_content = driver.page_source
    driver.quit()
    soup = BeautifulSoup(html_content, 'html.parser')
    table = soup.find('table')
    rows = table.find_all('tr')
    data = []
    for row in rows:
        cols = row.find_all('td')
        cols = [col.text.strip() for col in cols]
        data.append(cols)
    return data

data = parse_dynamic_table('https://example.com/dynamic_table') # Replace with actual URL
print(data)

Обработка исключений и ошибок при парсинге

При парсинге веб-страниц необходимо обрабатывать исключения и ошибки, такие как отсутствие элемента или проблемы с сетевым подключением:

from bs4 import BeautifulSoup
import requests

def safe_get_links_from_url(url: str) -> list:
    """Извлекает ссылки с веб-страницы, обрабатывая исключения."""
    try:
        response = requests.get(url)
        response.raise_for_status()  # Проверка на HTTP ошибки
        soup = BeautifulSoup(response.content, 'html.parser')
        links = [a['href'] for a in soup.find_all('a', href=True)]
        return links
    except requests.exceptions.RequestException as e:
        print(f"Ошибка при запросе страницы: {e}")
        return []
    except Exception as e:
        print(f"Ошибка при парсинге: {e}")
        return []


links = safe_get_links_from_url('https://example.com')
print(links)

Продвинутые техники и оптимизация

Использование CSS-селекторов для более точного поиска

CSS-селекторы позволяют более точно определять, какие элементы нужно найти:

from bs4 import BeautifulSoup

html_content = """
<div>
  <ul class="items">
    <li class="item-1">Item 1</li>
    <li class="item-2">Item 2</li>
  </ul>
</div>
"""

soup = BeautifulSoup(html_content, 'html.parser')

# Найти элемент li с классом item-2 внутри элемента ul с классом items
item_2 = soup.select('ul.items li.item-2')[0]
print(item_2.text)

Работа с большими объемами данных и оптимизация производительности

Для работы с большими объемами данных рекомендуется использовать потоковую обработку и избегать загрузки всего HTML-кода в память сразу. Также можно использовать lxml парсер, который значительно быстрее html.parser.

Обход блокировок и ограничений при парсинге веб-сайтов

Многие веб-сайты используют анти-скриптинговые меры для защиты от парсинга. Для обхода этих ограничений можно использовать:

User-Agent: Изменение User-Agent в запросах.
Прокси: Использование прокси-серверов для изменения IP-адреса.
Задержки: Введение задержек между запросами.

Например:

import requests
import random

user_agents = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
    'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
    # Другие User-Agent
]

url = 'https://example.com'
headers = {'User-Agent': random.choice(user_agents)}
response = requests.get(url, headers=headers)

Важно помнить об этике веб-скрапинга и соблюдать правила сайта (robots.txt) и не создавать излишнюю нагрузку на сервер.