Beautiful Soup и Pandas DataFrame: Всеобъемлющее руководство по извлечению и анализу табличных данных HTML

  •   
  •   77872
  •   7 мин
  •   21

В мире, где данные являются новой нефтью, способность эффективно извлекать и структурировать информацию из различных источников становится критически важной. Особенно это актуально для веб-страниц, содержащих табличные данные, которые часто представляют собой ценный источник для анализа — от финансовых отчетов до спортивной статистики и каталогов товаров.

Саммари статьи
ChatGPT ChatGPT
Google AI Google AI
Grok Grok
Perplexity Perplexity

Это руководство посвящено демонстрации того, как две мощные библиотеки Python — Beautiful Soup для парсинга HTML/XML и Pandas для работы с данными — могут быть объединены для решения этой задачи. Мы рассмотрим пошаговый процесс извлечения HTML-таблиц с веб-страниц и их последующего преобразования в удобный для анализа объект DataFrame. Вы научитесь не только эффективно собирать данные, но и подготавливать их для дальнейшей обработки и визуализации, открывая новые возможности для автоматизации и глубокого анализа.

Основы веб-скрейпинга и необходимые инструменты

Для успешного веб-скрейпинга и анализа табличных данных из HTML-страниц необходим набор специализированных инструментов. В основе нашего подхода лежат две ключевые библиотеки Python: Beautiful Soup и Pandas.

Введение в Beautiful Soup для парсинга HTML/XML

Beautiful Soup — это мощная библиотека Python, предназначенная для парсинга HTML и XML документов. Она преобразует сложную структуру веб-страницы в удобное для навигации дерево объектов. Это позволяет легко находить и извлекать нужные элементы, такие как таблицы (<table>), строки (<tr>) и ячейки (<td>/<th>), используя различные методы поиска по тегам, атрибутам или CSS-селекторам. Beautiful Soup абстрагирует сложности работы с некорректным HTML, делая процесс извлечения данных более надежным.

Pandas и DataFrame: хранение и манипулирование данными

Pandas — это фундаментальная библиотека для анализа данных в Python, а ее центральная структура данных, DataFrame, является незаменимым помощником для хранения, очистки и манипулирования извлеченными данными. DataFrame обеспечивает табличное представление данных, аналогичное электронной таблице или базе данных, что идеально подходит для дальнейшего анализа и обработки. Совместное использование Beautiful Soup и Pandas формирует эффективный конвейер для преобразования неструктурированных веб-данных в пригодный для анализа формат.

Введение в Beautiful Soup для парсинга HTML/XML

Beautiful Soup, как ключевой инструмент в арсенале веб-скрейпера, предоставляет интуитивно понятный и мощный способ работы с HTML- и XML-документами. Она преобразует сложный веб-контент, полученный, например, с помощью библиотеки requests, в удобное для навигации дерево объектов Python, имитирующее структуру DOM (Document Object Model). Это позволяет разработчикам легко находить, извлекать и модифицировать элементы, используя различные методы поиска: по тегам, атрибутам, классам CSS или даже регулярным выражениям.

Благодаря своей гибкости и надежности, Beautiful Soup эффективно справляется даже с некорректно сформированным HTML, что является частым явлением в реальных веб-страницах. Для извлечения табличных данных Beautiful Soup становится незаменимым помощником, предоставляя мощные средства для точного определения и доступа к ключевым тегам, таким как <table>, <tr>, <td> и <th>. Это первый и критически важный шаг к структурированию неорганизованной веб-информации для дальнейшего анализа.

Pandas и DataFrame: хранение и манипулирование данными

Pandas — это фундаментальная библиотека Python, незаменимая для анализа и манипулирования данными. Ее центральной структурой является DataFrame, представляющий собой двумерную таблицу с метками осей (строк и столбцов), что делает его схожим с электронной таблицей или SQL-таблицей.

DataFrame идеально подходит для хранения и организации табличных данных, извлеченных из HTML-страниц. Он предоставляет мощные инструменты для:

  • Структурирования данных в понятном и доступном формате.

  • Манипулирования данными: фильтрации, сортировки, объединения и агрегации.

  • Очистки и преобразования данных, подготавливая их для дальнейшего анализа.

Интеграция извлеченных веб-данных в DataFrame значительно упрощает последующую обработку, позволяя применять широкий спектр аналитических методов и алгоритмов машинного обучения.

Поиск и извлечение HTML-таблиц с Beautiful Soup

После того как мы ознакомились с Pandas DataFrame как идеальным хранилищем для табличных данных, перейдем к практическим шагам по их извлечению из HTML с помощью Beautiful Soup. Эта библиотека позволяет эффективно навигировать по DOM-дереву HTML-документа, находя нужные элементы.

Процесс начинается с поиска основного тега <table>. Используя методы find() или find_all(), мы можем обнаружить одну или несколько таблиц на веб-странице. Например, soup.find('table') найдет первую таблицу.

Далее, для пошагового извлечения данных из ячеек таблицы, мы итерируем по найденной таблице:

  1. Поиск строк: Внутри тега <table> мы ищем все теги <tr> (строки таблицы).

  2. Поиск ячеек: Для каждой строки <tr> мы находим все теги <td> (ячейки данных) и/или <th> (заголовки столбцов).

  3. Извлечение текста: Из каждой найденной ячейки извлекается текстовое содержимое с помощью свойства .get_text(). Этот текст затем можно добавить в список или другую структуру данных для последующей обработки.

Навигация по DOM-дереву: поиск тегов , ,
/

Для эффективного извлечения данных из HTML-таблиц с помощью Beautiful Soup необходимо понимать структуру DOM-дерева. После создания объекта BeautifulSoup мы можем начать поиск нужных элементов.

Первым шагом является поиск всех таблиц на странице с помощью метода find_all(): tables = soup.find_all('table')

Если на странице несколько таблиц, можно выбрать конкретную по индексу (tables[0]) или по атрибутам (например, soup.find('table', {'id': 'my_table'})).

Далее, для каждой найденной таблицы, мы итерируем по ее строкам. Строки таблицы представлены тегами <tr>: for row in table.find_all('tr'):

Внутри каждой строки мы ищем ячейки данных (<td>) и заголовки (<th>). Важно искать оба типа тегов, чтобы не пропустить данные: cells = row.find_all(['td', 'th'])

Из каждой найденной ячейки извлекается текстовое содержимое с помощью свойства .get_text(). Этот пошаговый подход позволяет точно навигировать по структуре таблицы и собирать необходимые данные.

Пошаговый процесс извлечения данных из ячеек таблицы

После того как мы успешно идентифицировали нужную HTML-таблицу и ее структурные элементы (строки <tr>, ячейки заголовков <th> и ячейки данных <td>), следующим шагом является извлечение фактического текстового содержимого из этих ячеек. Этот процесс обычно включает итерацию по строкам таблицы, а затем по ячейкам внутри каждой строки.

Вот пошаговый процесс:

  1. Инициализация структуры данных: Создайте пустой список, который будет хранить все извлеченные строки. Каждая строка, в свою очередь, будет списком ячеек.

  2. Итерация по строкам: Используйте метод find_all('tr') на объекте table (который вы получили на предыдущем шаге) для получения всех строк таблицы.

  3. Итерация по ячейкам: Для каждой строки <tr> используйте find_all(['th', 'td']) для получения всех ячеек (как заголовков, так и данных) в этой строке.

  4. Извлечение текста: Из каждой найденной ячейки извлеките текстовое содержимое с помощью атрибута .text. Рекомендуется использовать .strip() для удаления лишних пробелов и символов новой строки.

  5. Сбор данных: Добавьте список извлеченных значений ячеек в общий список, представляющий всю таблицу.

from bs4 import BeautifulSoup

html_doc = """
<html><body>
  <table>
    <thead><tr><th>Заголовок 1</th><th>Заголовок 2</th></tr></thead>
    <tbody>
      <tr><td>Данные 1.1</td><td>Данные 1.2</td></tr>
      <tr><td>Данные 2.1</td><td>Данные 2.2</td></tr>
    </tbody>
  </table>
</body></html>
"""

soup = BeautifulSoup(html_doc, 'html.parser')
table = soup.find('table') # Предполагаем, что таблица уже найдена

rows_data = []
for row in table.find_all('tr'):
    row_cells = [cell.text.strip() for cell in row.find_all(['th', 'td'])]
    rows_data.append(row_cells)

# print(rows_data)
# Вывод: [['Заголовок 1', 'Заголовок 2'], ['Данные 1.1', 'Данные 1.2'], ['Данные 2.1', 'Данные 2.2']]

Этот rows_data теперь представляет собой список списков, готовый к дальнейшему преобразованию.

Конвертация извлеченных данных в Pandas DataFrame

После того как данные из HTML-таблицы были успешно извлечены в виде списка списков, следующим логичным шагом является их преобразование в мощный и гибкий объект Pandas DataFrame. Этот формат идеально подходит для дальнейшего анализа, фильтрации и манипуляций с данными.

Преобразование данных из списков в DataFrame

Самый простой способ создать DataFrame из списка списков — это передать его конструктору pd.DataFrame(). Если ваш список table_data содержит заголовки в первой строке, вы можете использовать их для именования колонок:

import pandas as pd

# Предположим, table_data получен из Beautiful Soup
table_data = [
    ['Название', 'Значение'],
    ['Элемент A', '100'],
    ['Элемент B', '200']
]

# Извлечение заголовков и данных
headers = table_data[0]
rows = table_data[1:]

# Создание DataFrame
df = pd.DataFrame(rows, columns=headers)
print(df)

Обработка заголовков, колонок и типов данных

Как показано выше, заголовки колонок легко задаются с помощью параметра columns. Pandas автоматически пытается определить типы данных для каждой колонки (например, числа, строки, даты). Однако, если автоматическое определение неточно, вы можете явно преобразовать типы данных после создания DataFrame, используя методы .astype() или pd.to_numeric(), pd.to_datetime().

Реклама

Преобразование данных из списков в DataFrame

Как было упомянуто, данные, извлеченные из HTML-таблиц с помощью Beautiful Soup, обычно представляют собой список списков. Для структурированного анализа их необходимо преобразовать в Pandas DataFrame.

Процесс прост: если первая строка вашего списка содержит заголовки, используйте ее для именования колонок DataFrame.

import pandas as pd

# Пример данных (список списков)
extracted_data = [
    ['Продукт', 'Цена', 'Количество'],
    ['Ноутбук', '1200', '50'],
    ['Мышь', '25', '200']
]

# Отделяем заголовки и данные
headers = extracted_data[0]
rows = extracted_data[1:]

# Создаем DataFrame
df = pd.DataFrame(rows, columns=headers)
print(df)

После создания DataFrame важно проверить и при необходимости преобразовать типы данных колонок (например, из строковых в числовые) с помощью df.astype(), что критично для корректного анализа.

Обработка заголовков, колонок и типов данных

После извлечения данных в списки, критически важно правильно определить заголовки колонок для ясности и удобства работы с DataFrame. Заголовки, как правило, извлекаются из тегов <th> в HTML-таблице. При создании DataFrame, их можно передать через параметр columns:

df = pd.DataFrame(data, columns=headers)

Далее, поскольку Beautiful Soup извлекает все данные как строки, необходимо преобразовать их в соответствующие типы (числовые, даты и т.д.) для корректного анализа. Это можно сделать с помощью методов astype() или pd.to_numeric():

  • df['колонка'].astype(тип): Прямое преобразование типа, например, df['Возраст'].astype(int). Может вызвать ошибку при наличии неконвертируемых значений.

  • pd.to_numeric(df['колонка'], errors='coerce'): Более гибкий метод для числовых данных, который позволяет заменить неконвертируемые значения на NaN (Not a Number) с помощью errors='coerce', что предотвращает сбои программы.

Эффективный парсинг таблиц с pandas.read_html()

Хотя Beautiful Soup предоставляет детальный контроль над парсингом HTML, для извлечения табличных данных Pandas предлагает более высокоуровневый и часто более эффективный инструмент: функцию read_html(). Эта функция способна автоматически обнаруживать и парсить все таблицы на веб-странице или из HTML-строки, возвращая список объектов DataFrame.

Использование pandas.read_html() значительно упрощает процесс, поскольку она берет на себя всю рутину по навигации DOM и преобразованию данных. Для точного выбора нужных таблиц, особенно когда на странице их несколько, можно использовать следующие параметры:

  • match: регулярное выражение для поиска текста внутри таблицы.

  • attrs: словарь атрибутов HTML (например, {'id': 'my_table_id'} или {'class': 'data-table'}).

  • header: индекс строки, которая должна использоваться в качестве заголовка DataFrame.

Это позволяет быстро и точно извлекать необходимые табличные данные, минимизируя объем кода.

Использование pandas.read_html() для автоматического извлечения таблиц

Как было упомянуто ранее, pandas.read_html() предлагает невероятно эффективный способ автоматического извлечения табличных данных из HTML-источников. Эта функция способна напрямую считывать таблицы с URL-адреса, из локального HTML-файла или даже из строки HTML-кода, автоматически преобразуя их в список объектов DataFrame.

Её основное преимущество заключается в минимизации ручного парсинга. Вместо того чтобы вручную обходить DOM-дерево с Beautiful Soup, read_html() самостоятельно идентифицирует теги <table> и извлекает их содержимое.

Пример использования:

import pandas as pd

url = 'https://ru.wikipedia.org/wiki/%D0%A1%D0%BF%D0%B8%D1%81%D0%BE%D0%BA_%D1%81%D1%82%D1%80%D0%B0%D0%BD_%D0%BF%D0%BE_%D0%BD%D0%B0%D1%81%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D1%8E'
tables = pd.read_html(url)

# `tables` будет списком DataFrame, где каждый элемент соответствует одной таблице на странице
# print(f"Найдено таблиц: {len(tables)}")
# print(tables[0].head())

В этом примере read_html() загружает страницу и возвращает все найденные на ней таблицы в виде списка DataFrame. Это значительно упрощает процесс сбора данных, особенно когда структура таблиц относительно стандартна.

Фильтрация и выбор конкретных таблиц с параметрами match, attrs, header

Хотя pandas.read_html() автоматически извлекает все таблицы, часто требуется выбрать только одну или несколько конкретных. Для этого используются параметры match, attrs и header.

  • match: Этот параметр позволяет фильтровать таблицы по текстовому содержимому. read_html() вернет только те таблицы, в которых найден указанный текст (регулярное выражение или строка).

    import pandas as pd

# Пример: извлечь таблицу, содержащую слово 'Продукт'
dfs = pd.read_html('your_html_content_or_url', match='Продукт')
# dfs будет содержать список DataFrame, где каждая таблица содержит 'Продукт'

  • attrs: Позволяет фильтровать таблицы по их HTML-атрибутам, таким как id или class. Это особенно полезно, когда таблицы имеют уникальные идентификаторы.

    # Пример: извлечь таблицу с id='my_specific_table'
dfs = pd.read_html('your_html_content_or_url', attrs={'id': 'my_specific_table'})
# dfs будет содержать DataFrame только для таблицы с указанным id

  • header: Определяет, какая строка должна использоваться в качестве заголовка DataFrame. По умолчанию header=0 (первая строка). Если заголовки находятся в другой строке, можно указать ее индекс.

    # Пример: использовать вторую строку (индекс 1) как заголовок
dfs = pd.read_html('your_html_content_or_url', header=1)

Комбинируя эти параметры, можно точно настроить процесс извлечения, получая только необходимые табличные данные.

Работа со сложными сценариями и лучшие практики

Хотя pandas.read_html() отлично справляется со стандартными таблицами, более сложные сценарии требуют гибкости Beautiful Soup. Для вложенных таблиц необходимо рекурсивно обходить элементы <td> или <th> в поисках дочерних <table>, используя методы find() или find_all(). Динамически загружаемый контент, генерируемый JavaScript, не может быть напрямую обработан Beautiful Soup; в таких случаях требуются инструменты для автоматизации браузера, например Selenium или Playwright. При работе с неструктурированными данными или таблицами без четких тегов <thead>/<tbody> может потребоваться более сложная логика парсинга на основе паттернов или соседних элементов.

Лучшие практики включают:

  • Использование блоков try-except для обработки отсутствующих элементов или некорректных данных, повышая отказоустойчивость парсера.

  • Оптимизацию производительности путем кэширования запросов, соблюдения robots.txt и эффективного использования CSS-селекторов для минимизации обхода DOM.

Обработка вложенных таблиц, динамического контента и неструктурированных данных

Помимо общих рекомендаций, существуют специфические вызовы при работе с HTML-таблицами, требующие особого подхода.

Вложенные таблицы: Beautiful Soup позволяет эффективно навигировать по вложенным структурам. Если ячейка <td> или <th> содержит внутри себя другой тег <table>, можно применить рекурсивный подход, повторно используя логику парсинга таблиц для извлечения данных из внутренней таблицы.

Динамический контент: Beautiful Soup работает со статическим HTML-кодом страницы. Если таблица или ее содержимое загружается асинхронно с помощью JavaScript после первоначальной загрузки страницы, Beautiful Soup не сможет получить эти данные напрямую. В таких случаях необходимо использовать инструменты для автоматизации браузера, такие как Selenium или Playwright, которые могут выполнить JavaScript и получить полностью отрисованный HTML.

Неструктурированные данные: Хотя Beautiful Soup отлично извлекает структурированные данные из HTML-тегов, иногда ячейки таблицы могут содержать неструктурированный текст. Для извлечения конкретных паттернов или информации из такого текста после парсинга могут потребоваться дополнительные методы, например, регулярные выражения или библиотеки для обработки естественного языка (NLP).

Управление ошибками, исключениями и оптимизация производительности

При работе с веб-скрейпингом неизбежны ошибки. Для надежного извлечения данных используйте блоки try-except для обработки потенциальных AttributeError при отсутствии ожидаемых элементов или IndexError при некорректном доступе к спискам. Также важно обрабатывать исключения, связанные с сетевыми запросами, например, requests.exceptions.RequestException. Всегда проверяйте наличие элементов перед попыткой доступа к их атрибутам или содержимому.

Для оптимизации производительности:

  • Используйте более быстрый парсер, такой как lxml, вместо стандартного html.parser.

  • Кэшируйте результаты запросов для избежания повторного скачивания одной и той же страницы.

  • Соблюдайте этикет веб-скрейпинга, внедряя задержки (time.sleep) между запросами, чтобы не перегружать сервер и избежать блокировки.

Заключение

Мы прошли путь от основ веб-скрейпинга до продвинутых методов извлечения и анализа табличных данных HTML. Beautiful Soup и Pandas DataFrame, как мы убедились, являются мощными инструментами для этой задачи. Beautiful Soup обеспечивает точный парсинг и навигацию по DOM, а Pandas — эффективное хранение, обработку и анализ структурированных данных. Освоение этих библиотек открывает широкие возможности для автоматизации сбора информации и ее дальнейшего использования в аналитических проектах. Продолжайте экспериментировать и применять полученные знания на практике.

Метки:

Добавить комментарий

Реклама
Как проверить наличие и получить значение атрибута тега BeautifulSoup в Python: Полное руководство
Атрибуты тега в контексте BeautifulSoup — это дополнительные пары «имя=значение», которые описывают элемент HTML или XML.
  •  2
  •   2026
Полное руководство: Как найти родительский элемент (Parent Tag) с помощью Beautiful Soup в Python
В процессе веб-скрейпинга часто возникает задача: нам нужно извлечь данные, которые находятся не в самом целевом элементе, а в его контейнере или более высоком предке.
  •  2
  •   2026
Пошаговое руководство: Как разобрать данные из HTML с помощью BeautifulSoup и Python’s HTML парсера
Веб-скрейпинг (Web Scraping) — это процесс автоматического извлечения данных с веб-сайтов.
  •  2
  •   2026