Beautiful Soup: Как читать таблицы на веб-страницах?

  •   
  •   18181
  •   4 мин
  •   72

Что такое Beautiful Soup и зачем он нужен?

Beautiful Soup – это мощная Python-библиотека для парсинга HTML и XML документов. Она позволяет легко извлекать данные из веб-страниц, даже если они имеют сложную или не совсем корректную структуру. В контексте анализа данных, Internet-маркетинга и веб-программирования, Beautiful Soup незаменим для сбора информации о конкурентах, анализа рынка, автоматизации отчетности и других задач, требующих извлечения данных из веба.

Краткий обзор HTML-структуры таблицы (\

, \

, \

) с помощью find_all()

Получаем все строки таблицы:

def get_table_rows(table: BeautifulSoup) -> List[BeautifulSoup]:
    """Извлекает все строки из таблицы."""
    rows = table.find_all('tr')
    return rows

if table:
    rows = get_table_rows(table)

Итерация по строкам таблицы

Перебираем строки таблицы для извлечения данных.

if rows:
    for row in rows:
        # Обработка каждой строки
        pass

Извлечение данных из ячеек (\

, \

)

Прежде чем приступить к чтению таблиц, необходимо понимать их HTML-структуру. Основными тегами являются:

  • <table>: Определяет таблицу.
  • <tr>: Определяет строку таблицы (table row).
  • <td>: Определяет ячейку данных таблицы (table data).
  • <th>: Определяет заголовочную ячейку таблицы (table header).

Понимание этой структуры критически важно для эффективного парсинга таблиц с использованием Beautiful Soup.

Установка Beautiful Soup (pip install beautifulsoup4)

Установить Beautiful Soup можно с помощью pip:

pip install beautifulsoup4

Импорт библиотек: Beautiful Soup и requests (или другой библиотеки для запросов)

Для начала работы необходимо импортировать библиотеки:

import requests
from bs4 import BeautifulSoup
from typing import List, Dict, Union

Извлечение HTML-кода таблицы с веб-страницы

Отправка HTTP-запроса к веб-странице с помощью requests

Для получения HTML-кода страницы используется библиотека requests:

import requests

def fetch_html(url: str) -> str:
    """Отправляет HTTP-запрос к URL и возвращает HTML-код страницы."""
    try:
        response = requests.get(url)
        response.raise_for_status()  # Проверка на ошибки HTTP
        return response.text
    except requests.exceptions.RequestException as e:
        print(f"Ошибка при запросе к {url}: {e}")
        return None

url = "https://example.com/table_page" # Замените на URL страницы с таблицей
html_content = fetch_html(url)

Создание объекта Beautiful Soup из HTML-кода

Создаем объект Beautiful Soup для парсинга HTML:

from bs4 import BeautifulSoup


def create_soup(html_content: str) -> BeautifulSoup:
    """Создает объект BeautifulSoup из HTML-кода."""
    soup = BeautifulSoup(html_content, 'html.parser')
    return soup

if html_content:
    soup = create_soup(html_content)

Поиск таблицы на странице с помощью методов find() и find_all()

Ищем таблицу на странице. Метод find() возвращает только первый найденный элемент, а find_all() – все элементы, соответствующие критерию.

from bs4 import BeautifulSoup


def find_table(soup: BeautifulSoup) -> BeautifulSoup:
    """Ищет первую таблицу на странице."""
    table = soup.find('table')
    return table


def find_all_tables(soup: BeautifulSoup) -> List[BeautifulSoup]:
    """Ищет все таблицы на странице."""
    tables = soup.find_all('table')
    return tables

table = find_table(soup)
# Или
tables = find_all_tables(soup)

Обработка случаев, когда таблица не найдена

Важно предусмотреть ситуацию, когда таблица не найдена на странице:

if table:
    # Дальнейшая обработка таблицы
    pass
else:
    print("Таблица не найдена на странице.")

Парсинг и извлечение данных из таблицы

Получение всех строк таблицы (\

и \

) каждой строки

Извлекаем данные из ячеек <td> и <th>:

def get_cells_from_row(row: BeautifulSoup) -> List[str]:
    """Извлекает текст из всех ячеек (td и th) в строке."""
    cells = row.find_all(['td', 'th'])
    return [cell.text.strip() for cell in cells]


if rows:
    for row in rows:
        cells = get_cells_from_row(row)
        print(cells)

Обработка заголовков таблицы (\

) и данных (\

) отдельно

Заголовки таблицы обычно находятся в тегах <th>. Их можно обработать отдельно для создания заголовков столбцов.

Представление данных таблицы в удобном формате

Создание списка или словаря для хранения данных таблицы

Данные таблицы можно хранить в списке списков или словаре, где ключами являются заголовки столбцов.

def table_to_list_of_lists(table: BeautifulSoup) -> List[List[str]]:
    """Преобразует таблицу BeautifulSoup в список списков."""
    data = []
    rows = get_table_rows(table)
    for row in rows:
        cells = get_cells_from_row(row)
        data.append(cells)
    return data


if table:
    table_data = table_to_list_of_lists(table)
    print(table_data)

Очистка данных: удаление лишних пробелов и символов

Используйте strip() для удаления лишних пробелов и символов из извлеченных данных.

Преобразование типов данных (например, из строки в число)

Преобразуйте строки в числа, если это необходимо для дальнейшего анализа.

def convert_to_number(value: str) -> Union[int, float, str]:
    """Пытается преобразовать строку в int или float, иначе возвращает исходную строку."""
    try:
        return int(value)
    except ValueError:
        try:
            return float(value)
        except ValueError:
            return value

Вывод данных таблицы в консоль или сохранение в файл (CSV, Excel)

Выведите данные в консоль или сохраните их в файл CSV или Excel для дальнейшего анализа.

Обработка сложных случаев и распространенные ошибки

Работа с таблицами, у которых нет четкой структуры

Иногда таблицы могут иметь нестандартную структуру. В таких случаях необходимо тщательно анализировать HTML-код и адаптировать код парсера.

Обработка таблиц с объединенными ячейками (colspan, rowspan)

Обработка таблиц с объединенными ячейками требует особого внимания. Необходимо учитывать атрибуты colspan и rowspan при извлечении данных.

Использование атрибутов для более точного поиска таблиц

Используйте атрибуты id или class для более точного поиска нужной таблицы.

table = soup.find('table', {'id': 'my_table'})

Рекомендации по отладке кода Beautiful Soup и обходу ошибок

  • Используйте print() для вывода промежуточных результатов и отладки кода.
  • Обрабатывайте исключения, чтобы избежать аварийного завершения программы.
  • Внимательно изучайте HTML-код страницы для понимания структуры таблицы.
Метки:

Добавить комментарий

BeautifulSoup против lxml: какой инструмент лучше для извлечения контента из HTML в Python?
Краткий обзор BeautifulSoup: возможности и преимущества BeautifulSoup – это Python-библиотека, предназначенная для парсинга HTML и XML.
  •  7
  •   2025
Beautiful Soup в Python: Как Найти Следующий Элемент?
Что такое Beautiful Soup и зачем он нужен для парсинга HTML? Beautiful Soup – это Python-библиотека, предназначенная для парсинга HTML и XML документов.
  •  14
  •   2025
Selenium WebDriver: Обновление до версии с поддержкой CDP 125
Что такое Selenium WebDriver и его роль в автоматизации тестирования Selenium WebDriver — это мощный инструмент для автоматизации взаимодействия с браузерами.
  •  14
  •   2025
Как очистить кэш в Chrome с использованием Selenium WebDriver и Python?
Автоматизированное тестирование веб-приложений с использованием Selenium WebDriver и Python требует внимательного отношения к управлению кэшем браузера.
  •  15
  •   2025