Beautiful Soup: Как Анализировать HTML и XML на Python?

  •   
  •   22307
  •   11 мин
  •   150

Что такое Beautiful Soup и зачем он нужен?

Beautiful Soup – это Python-библиотека, предназначенная для парсинга HTML и XML документов. Она позволяет извлекать данные из веб-страниц, даже если HTML код не идеально структурирован. Вместо того, чтобы вручную разбирать HTML-код с помощью регулярных выражений (что часто приводит к ошибкам и трудностям), Beautiful Soup предоставляет удобный и интуитивно понятный API для навигации по DOM-дереву и извлечения нужной информации.

Beautiful Soup полезна в задачах веб-скрапинга, автоматизации тестирования веб-приложений, сбора данных для анализа, и многих других сценариях, где требуется программно обрабатывать веб-контент.

Установка Beautiful Soup (bs4) и необходимых библиотек

Установка Beautiful Soup выполняется с помощью pip:

pip install beautifulsoup4

Кроме того, для работы с Beautiful Soup часто требуется установить парсер. Рекомендуется использовать lxml, так как он обеспечивает высокую производительность:

pip install lxml

Также можно установить html5lib, если необходимо обрабатывать даже очень плохой HTML, но он обычно медленнее, чем lxml.

pip install html5lib

Обзор поддерживаемых парсеров (html.parser, lxml, html5lib)

Beautiful Soup поддерживает несколько парсеров, каждый из которых имеет свои особенности:

  1. html.parser – встроенный в Python парсер. Он не требует установки дополнительных библиотек, но может быть менее терпимым к невалидному HTML и медленнее, чем другие парсеры.
  2. lxml – самый быстрый и рекомендуемый парсер. Он требует установки отдельной библиотеки (pip install lxml) и хорошо справляется с невалидным HTML.
  3. html5lib – самый терпимый к невалидному HTML парсер, имитирующий поведение современных браузеров. Он требует установки отдельной библиотеки (pip install html5lib) и является самым медленным.

Основы работы с Beautiful Soup

Создание объекта Beautiful Soup из HTML/XML

Для начала работы необходимо создать объект BeautifulSoup из HTML или XML строки:

from bs4 import BeautifulSoup

html_doc: str = """ 
<html><head><title>Пример страницы</title></head>
<body><p class="title"><b>Заголовок</b></p>
<a href="http://example.com/link1" class="link">Ссылка 1</a>,
<a href="http://example.com/link2" class="link">Ссылка 2</a>
</body></html>
"""

soup: BeautifulSoup = BeautifulSoup(html_doc, 'lxml') # или 'html.parser', 'html5lib'

print(soup.prettify())

prettify() форматирует HTML код для удобства чтения.

Навигация по дереву HTML: поиск элементов по тегам

Можно обращаться к элементам HTML по тегам:

from bs4 import BeautifulSoup

html_doc: str = "<html><head><title>Пример страницы</title></head><body><p class=\"title\"><b>Заголовок</b></p></body></html>"
soup: BeautifulSoup = BeautifulSoup(html_doc, 'lxml')

title_tag = soup.title  # Получаем тег <title>
print(title_tag.text)

p_tag = soup.p  # Получаем первый тег <p>
print(p_tag)

Извлечение данных: текст, атрибуты, URL

Извлечение текста из тега:

from bs4 import BeautifulSoup

html_doc: str = "<html><body><a href=\"http://example.com\">Ссылка</a></body></html>"
soup: BeautifulSoup = BeautifulSoup(html_doc, 'lxml')

link = soup.a
print(link.text)  # Получаем текст ссылки

Извлечение атрибутов:

from bs4 import BeautifulSoup

html_doc: str = "<html><body><a href=\"http://example.com\" class=\"external\">Ссылка</a></body></html>"
soup: BeautifulSoup = BeautifulSoup(html_doc, 'lxml')

link = soup.a
print(link['href'])  # Получаем значение атрибута href
print(link.get('class')) # Альтернативный способ получения атрибута

Поиск элементов с использованием find() и find_all()

find() возвращает первый найденный элемент, соответствующий критериям:

from bs4 import BeautifulSoup

html_doc: str = """<html><body>
<p class=\"title\"><b>Заголовок 1</b></p>
<p class=\"title\"><b>Заголовок 2</b></p>
</body></html>"""
soup: BeautifulSoup = BeautifulSoup(html_doc, 'lxml')

title = soup.find('p', class_='title') # Поиск тега <p> с классом 'title'
print(title)

find_all() возвращает список всех найденных элементов:

from bs4 import BeautifulSoup

html_doc: str = """<html><body>
<p class=\"title\"><b>Заголовок 1</b></p>
<p class=\"title\"><b>Заголовок 2</b></p>
</body></html>"""
soup: BeautifulSoup = BeautifulSoup(html_doc, 'lxml')

titles = soup.find_all('p', class_='title') # Поиск всех тегов <p> с классом 'title'
for title in titles:
    print(title)

Продвинутый поиск и фильтрация

Использование CSS-селекторов для поиска элементов (select(), select_one())

select() позволяет использовать CSS-селекторы для поиска элементов:

from bs4 import BeautifulSoup

html_doc: str = """<html><body>
<div id=\"content\"><p class=\"text\">Текст 1</p></div>
<p class=\"text\">Текст 2</p>
</body></html>"""
soup: BeautifulSoup = BeautifulSoup(html_doc, 'lxml')

content_texts = soup.select('#content .text') # Поиск элементов с классом 'text' внутри элемента с id 'content'
for text in content_texts:
    print(text.text)

select_one() возвращает первый найденный элемент, соответствующий CSS-селектору:

from bs4 import BeautifulSoup

html_doc: str = """<html><body>
<div id=\"content\"><p class=\"text\">Текст 1</p></div>
<p class=\"text\">Текст 2</p>
</body></html>"""
soup: BeautifulSoup = BeautifulSoup(html_doc, 'lxml')

content_text = soup.select_one('#content .text') # Поиск первого элемента с классом 'text' внутри элемента с id 'content'
print(content_text.text)

Фильтрация по атрибутам, тексту и другим критериям

Фильтрация по атрибутам в find_all():

from bs4 import BeautifulSoup

html_doc: str = """<html><body>
<a href=\"/link1\" data-category=\"news\">Ссылка 1</a>
<a href=\"/link2\" data-category=\"articles\">Ссылка 2</a>
</body></html>"""
soup: BeautifulSoup = BeautifulSoup(html_doc, 'lxml')

news_links = soup.find_all('a', {'data-category': 'news'}) # Поиск ссылок с атрибутом data-category равным 'news'
for link in news_links:
    print(link['href'])

Фильтрация по тексту:

from bs4 import BeautifulSoup

html_doc: str = """<html><body>
<p>Текст 1</p>
<p>Текст 2</p>
</body></html>"""
soup: BeautifulSoup = BeautifulSoup(html_doc, 'lxml')

text_paragraphs = soup.find_all('p', text='Текст 1') # Поиск параграфов с текстом 'Текст 1'
for paragraph in text_paragraphs:
    print(paragraph)
Реклама

Работа с регулярными выражениями для более гибкого поиска

Использование регулярных выражений позволяет искать элементы, соответствующие определенному шаблону.

import re
from bs4 import BeautifulSoup

html_doc: str = """<html><body>
<a href=\"/page1.html\">Ссылка 1</a>
<a href=\"/page2.html\">Ссылка 2</a>
</body></html>"""
soup: BeautifulSoup = BeautifulSoup(html_doc, 'lxml')

page_links = soup.find_all('a', href=re.compile(r'/page\d+\.html'))  # Поиск ссылок, содержащих '/page' и цифры, заканчивающиеся на '.html'
for link in page_links:
    print(link['href'])

Поиск родительских, дочерних и соседних элементов

from bs4 import BeautifulSoup

html_doc: str = """<html><body>
<div id=\"content\"><p><b>Текст</b></p></div>
</body></html>"""
soup: BeautifulSoup = BeautifulSoup(html_doc, 'lxml')

text = soup.find('b')

parent = text.parent  # Получаем родительский элемент (тег <p>)
print(parent)

grandparent = text.find_parent('div') # Находим ближайшего родителя <div>
print(grandparent)

content_div = soup.find('div', id='content')
child = content_div.find('p') # Получаем первого потомка <p>
print(child)

Практические примеры использования Beautiful Soup

Извлечение данных из веб-страницы (например, заголовки статей, ссылки)

import requests
from bs4 import BeautifulSoup

url: str = 'https://www.example.com'
response = requests.get(url)
response.raise_for_status()

soup: BeautifulSoup = BeautifulSoup(response.text, 'lxml')

headings = soup.find_all('h2') # Предполагаем, что заголовки статей находятся в тегах <h2>
for heading in headings:
    print(heading.text)

links = soup.find_all('a') # Извлечение всех ссылок
for link in links:
    print(link['href'])

Заметка: Не забудьте обработать исключения, связанные с сетевыми запросами.

Скрапинг данных с нескольких страниц (пагинация)

import requests
from bs4 import BeautifulSoup

base_url: str = 'https://www.example.com/articles?page='

for page_num in range(1, 6): # Перебираем страницы с 1 по 5
    url = base_url + str(page_num)
    response = requests.get(url)
    response.raise_for_status()

    soup: BeautifulSoup = BeautifulSoup(response.text, 'lxml')
    articles = soup.find_all('article') # Предполагаем, что статьи находятся в тегах <article>

    for article in articles:
        title = article.find('h3').text # Пример: Извлечение заголовка статьи
        print(f'Page {page_num}: {title}')

Обработка ошибок и исключений при работе с Beautiful Soup

При веб-скрапинге важно обрабатывать возможные ошибки, например, отсутствие элемента на странице или проблемы с сетевым подключением.

import requests
from bs4 import BeautifulSoup

url: str = 'https://www.example.com'

try:
    response = requests.get(url)
    response.raise_for_status() # Проверка на HTTP ошибки

    soup: BeautifulSoup = BeautifulSoup(response.text, 'lxml')
    title = soup.find('h1').text # Допустим, ожидаем заголовок в <h1>
    print(title)

except requests.exceptions.RequestException as e:
    print(f'Ошибка при запросе: {e}')
except AttributeError:
    print('Элемент h1 не найден на странице')
except Exception as e:
    print(f'Произошла непредвиденная ошибка: {e}')

Сохранение извлеченных данных в файл (CSV, JSON)

Сохранение в CSV:

import csv
import requests
from bs4 import BeautifulSoup

url: str = 'https://www.example.com/products'
response = requests.get(url)
response.raise_for_status()

soup: BeautifulSoup = BeautifulSoup(response.text, 'lxml')

products = soup.find_all('div', class_='product')

with open('products.csv', 'w', newline='', encoding='utf-8') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['Title', 'Price'])  # Записываем заголовки столбцов

    for product in products:
        title = product.find('h3').text
        price = product.find('span', class_='price').text
        writer.writerow([title, price])

Сохранение в JSON:

import json
import requests
from bs4 import BeautifulSoup

url: str = 'https://www.example.com/products'
response = requests.get(url)
response.raise_for_status()

soup: BeautifulSoup = BeautifulSoup(response.text, 'lxml')

products = soup.find_all('div', class_='product')

data = []
for product in products:
    title = product.find('h3').text
    price = product.find('span', class_='price').text
    data.append({'title': title, 'price': price})

with open('products.json', 'w', encoding='utf-8') as jsonfile:
    json.dump(data, jsonfile, ensure_ascii=False, indent=4) # `ensure_ascii=False` для корректного отображения кириллицы, `indent=4` для форматирования

Рекомендации и лучшие практики

Оптимизация производительности при работе с большими объемами данных

  • Используйте lxml парсер для максимальной скорости.
  • Ограничьте количество запросов к веб-сайту, чтобы не перегружать сервер и избежать блокировки.
  • Используйте find() вместо find_all(), если вам нужен только один элемент.
  • Применяйте CSS-селекторы для более точного и быстрого поиска.
  • Рассмотрите возможность использования кэширования для повторного использования полученных данных.

Обработка динамически генерируемого контента (AJAX)

Beautiful Soup не может напрямую обрабатывать контент, генерируемый JavaScript после загрузки страницы. Для этого необходимо использовать инструменты, которые могут выполнять JavaScript, например, Selenium или Puppeteer. Эти инструменты позволяют получить HTML-код страницы после выполнения JavaScript, который затем можно обработать с помощью Beautiful Soup.

Обход блокировок и ограничений при веб-скрапинге

  • Используйте User-Agent, имитирующий браузер. Это можно сделать с помощью библиотеки requests.
  • Применяйте задержки между запросами (например, с помощью time.sleep()), чтобы не перегружать сервер и не выглядеть как бот.
  • Рассмотрите возможность использования прокси-серверов для изменения IP-адреса и обхода блокировок.
  • Уважайте файл robots.txt и правила веб-сайта.

Альтернативные библиотеки для парсинга HTML/XML (Scrapy, lxml)

  • Scrapy – мощный фреймворк для веб-скрапинга, который предоставляет широкий набор инструментов для извлечения данных, обработки запросов и управления скрапинг-проектами. Scrapy хорошо подходит для крупных и сложных проектов.
  • lxml – это не только парсер для Beautiful Soup, но и самостоятельная библиотека для обработки XML и HTML. LXML предоставляет низкоуровневый API, который может быть более эффективным, чем Beautiful Soup, для определенных задач. Однако, его использование требует более глубоких знаний о структуре HTML и XML.

Добавить комментарий

Реклама
Забудьте рутину: Плагин Selenium для Chrome, который изменит вашу веб-автоматизацию с Python!
В современном мире веб-разработки и тестирования рутинные задачи по взаимодействию с браузером могут отнимать значительное время и ресурсы.
  •  1
  •   2026
Как эффективно сжать и очистить HTML с помощью BeautifulSoup в Python?
В современном мире, где данные являются новой нефтью, эффективная обработка веб-контента становится критически важной.
  •  2
  •   2026
Архитектура Selenium WebDriver: Подробное объяснение устройства и принципов работы с Python
Когда на технических ревью или при проектировании сложных тестовых фреймворков возникает вопрос: «можете ли вы объяснить архитектуру selenium webdriver?», от Senior-инженера ожидают не просто базового перечисления модулей.
  •  2
  •   2026