Как с помощью BeautifulSoup разобрать HTML-таблицу в Python?

19.06.2025
18472

6 мин
353

Введение в BeautifulSoup и разбор HTML

Что такое BeautifulSoup и зачем он нужен для парсинга HTML?

BeautifulSoup – это Python-библиотека, предназначенная для парсинга HTML и XML документов. Она предоставляет удобные инструменты для навигации по структуре документа, поиска элементов и извлечения данных. В контексте HTML-таблиц, BeautifulSoup позволяет легко извлекать данные из <table> тегов, обходя сложную структуру строк (<tr>) и ячеек (<td>, <th>). Это гораздо проще, чем использовать регулярные выражения, особенно когда HTML не идеально отформатирован или содержит ошибки.

Саммари статьи

ChatGPT

Google AI

Grok

Perplexity

Установка BeautifulSoup и необходимых библиотек (lxml, html.parser)

Для начала работы с BeautifulSoup необходимо установить его и парсер. lxml является более быстрым и функциональным парсером, чем встроенный html.parser. Установка выполняется с помощью pip:

pip install beautifulsoup4 lxml

Если lxml не установился, можно использовать встроенный html.parser:

pip install beautifulsoup4

Краткий обзор структуры HTML-документа: теги, атрибуты, элементы

HTML-документ состоит из элементов, представленных тегами. Теги бывают открывающими (<tag>) и закрывающими (</tag>). Элементы могут содержать атрибуты, предоставляющие дополнительную информацию (например, <table id="my_table" class="data">). HTML-таблица структурирована следующим образом: <table> (таблица), <tr> (строка), <th> (заголовок ячейки), <td> (ячейка данных).

Поиск и извлечение HTML-таблицы с помощью BeautifulSoup

Загрузка HTML-контента: из файла или URL

BeautifulSoup может работать с HTML, загруженным из разных источников. Например, из файла:

from bs4 import BeautifulSoup

with open("table.html", "r", encoding="utf-8") as f:
    html_content: str = f.read()

soup: BeautifulSoup = BeautifulSoup(html_content, "lxml")

Или из URL:

import requests
from bs4 import BeautifulSoup

url: str = "https://example.com/table.html"
response: requests.Response = requests.get(url)
response.raise_for_status()  # Проверка на ошибки при запросе
html_content: str = response.text
soup: BeautifulSoup = BeautifulSoup(html_content, "lxml")

Поиск таблицы по тегу `<table>`, атрибутам (id, class) или другим критериям

Для поиска таблицы можно использовать методы find() или find_all():

from bs4 import BeautifulSoup

def find_table(soup: BeautifulSoup, identifier: str, value: str) -> BeautifulSoup | None:
    """Находит таблицу по заданному идентификатору и значению."""
    table: BeautifulSoup | None = soup.find("table", {identifier: value})
    return table

# Поиск по id
table_by_id: BeautifulSoup | None = find_table(soup, "id", "my_table")

# Поиск по class
table_by_class: BeautifulSoup | None = find_table(soup, "class", "data_table")

# Просто поиск первого тега <table>
table: BeautifulSoup | None = soup.find("table")

Обработка случаев, когда таблица не найдена

Важно предусмотреть ситуацию, когда таблица не найдена:

if table_by_id:
    # Обработка найденной таблицы
    ...
else:
    print("Таблица с указанным id не найдена.")

Разбор структуры таблицы: строки и ячейки

Извлечение всех строк (`<tr>`) из таблицы

После того, как таблица найдена, можно извлечь все строки:

from bs4 import BeautifulSoup


def extract_rows(table: BeautifulSoup) -> list[BeautifulSoup]:
    """Извлекает все строки из таблицы."""
    rows: list[BeautifulSoup] = table.find_all("tr")
    return rows

if table_by_id:
    rows: list[BeautifulSoup] = extract_rows(table_by_id)

Итерация по строкам и извлечение ячеек (`<td>`, `<th>`) из каждой строки

Далее, нужно пройтись по каждой строке и извлечь ячейки:

from bs4 import BeautifulSoup

def extract_cells(row: BeautifulSoup) -> list[BeautifulSoup]:
    """Извлекает все ячейки из строки (<td> и <th>)."""
    cells: list[BeautifulSoup] = row.find_all(["td", "th"])
    return cells

if table_by_id:
    rows: list[BeautifulSoup] = extract_rows(table_by_id)
    for row in rows:
        cells: list[BeautifulSoup] = extract_cells(row)
        # Обработка ячеек
        ...

Обработка заголовков таблицы (`<th>`) и данных (`<td>`)

Необходимо учитывать, что первая строка может содержать заголовки (<th>):

from bs4 import BeautifulSoup


def process_table_data(table: BeautifulSoup) -> list[list[str]]:
    """Извлекает данные из таблицы и возвращает их в виде списка списков."""
    data: list[list[str]] = []
    rows: list[BeautifulSoup] = extract_rows(table)
    for row in rows:
        cells: list[BeautifulSoup] = extract_cells(row)
        row_data: list[str] = [cell.text.strip() for cell in cells]
        data.append(row_data)
    return data

if table_by_id:
    table_data: list[list[str]] = process_table_data(table_by_id)
    # Дальнейшая обработка данных
    ...

Преобразование данных таблицы в структурированный формат

Создание списка списков (list of lists) или словаря (dictionary) для хранения данных

Чаще всего, данные из таблицы преобразуются в список списков или словарь. Список списков – это простой способ представления табличных данных. Словарь удобен, когда нужно обращаться к данным по именам столбцов.

Очистка и преобразование данных: удаление лишних пробелов, приведение к нужному типу

Перед использованием данных, их необходимо очистить и привести к нужному типу:

def clean_data(data: str) -> str:
    """Удаляет лишние пробелы и специальные символы."""
    return data.replace("\xa0", " ").strip()


def convert_to_float(data: str) -> float | None:
    """Преобразует строку в float, если это возможно."""
    try:
        return float(data)
    except ValueError:
        return None

Обработка пустых ячеек и некорректных данных

Важно предусмотреть обработку пустых ячеек и некорректных данных, чтобы избежать ошибок в дальнейшем.

Примеры использования и распространенные проблемы

Полный пример кода: парсинг таблицы и вывод данных в консоль

import requests
from bs4 import BeautifulSoup


def parse_table_from_url(url: str) -> list[list[str]] | None:
    """Парсит таблицу с заданного URL и возвращает данные в виде списка списков."""
    try:
        response: requests.Response = requests.get(url)
        response.raise_for_status()  # Проверка на HTTP ошибки
        html_content: str = response.text
        soup: BeautifulSoup = BeautifulSoup(html_content, "lxml")
        table: BeautifulSoup | None = soup.find("table", {"id": "data_table"})  # Пример поиска по id
        if table:
            data: list[list[str]] = process_table_data(table)
            return data
        else:
            print("Таблица с id 'data_table' не найдена.")
            return None
    except requests.exceptions.RequestException as e:
        print(f"Ошибка при запросе к URL: {e}")
        return None


def process_table_data(table: BeautifulSoup) -> list[list[str]]:
    """Извлекает данные из таблицы и возвращает их в виде списка списков."""
    data: list[list[str]] = []
    rows: list[BeautifulSoup] = table.find_all("tr")
    for row in rows:
        cells: list[BeautifulSoup] = row.find_all(["td", "th"])
        row_data: list[str] = [cell.text.strip() for cell in cells]
        data.append(row_data)
    return data


# Пример использования
url: str = "https://example.com/table.html"  # Замените на реальный URL
table_data: list[list[str]] | None = parse_table_from_url(url)

if table_data:
    for row in table_data:
        print(row)

Обработка таблиц со сложной структурой: rowspan, colspan

Таблицы с атрибутами rowspan и colspan требуют особого подхода. Необходимо учитывать объединение ячеек при формировании структуры данных. Часто для обработки таких таблиц требуется более сложная логика или использование специализированных библиотек.

Решение распространенных проблем при парсинге HTML-таблиц

Некорректная кодировка: Указывайте кодировку при чтении HTML-файла (encoding='utf-8').
Динамически загружаемый контент: Используйте Selenium для загрузки контента, созданного JavaScript.
Невалидный HTML: BeautifulSoup достаточно устойчив к невалидному HTML, но в сложных случаях может потребоваться предварительная очистка документа.