Веб-скрейпинг табличных данных с использованием Beautiful Soup и Python: подробное руководство

04.05.2025
16923

12 мин
74

Введение в веб-скрейпинг таблиц с Beautiful Soup и Python

Что такое веб-скрейпинг и зачем он нужен?

Веб-скрейпинг – это автоматизированный процесс извлечения данных с веб-сайтов. Он позволяет получать информацию, которую в противном случае пришлось бы собирать вручную, что особенно ценно при работе с большими объемами данных. В контексте таблиц, веб-скрейпинг позволяет автоматизировать сбор, например, цен на товары конкурентов, курсов валют, статистики спортивных событий и другой структурированной информации.

Обзор Beautiful Soup: библиотека для парсинга HTML и XML

Beautiful Soup – это Python-библиотека, предназначенная для парсинга HTML и XML документов. Она предоставляет удобные инструменты для навигации по структуре документа, поиска элементов по тегам, атрибутам и тексту, а также для извлечения необходимой информации. Beautiful Soup значительно упрощает процесс веб-скрейпинга, делая его более эффективным и менее трудоемким.

Python как инструмент для веб-скрейпинга: преимущества и возможности

Python – универсальный язык программирования, широко используемый для веб-скрейпинга благодаря своей простоте, богатой экосистеме библиотек и активному сообществу. Наличие библиотек, таких как requests для загрузки веб-страниц и Beautiful Soup для парсинга HTML, делает Python идеальным выбором для задач веб-скрейпинга.

Необходимые инструменты и библиотеки: установка и настройка (Beautiful Soup, requests, lxml/html5lib)

Прежде чем начать веб-скрейпинг, необходимо установить необходимые библиотеки:

requests: для отправки HTTP-запросов и получения HTML-контента.
beautifulsoup4: собственно, сама библиотека Beautiful Soup.
lxml или html5lib: парсеры для Beautiful Soup. lxml обычно быстрее, но html5lib более терпим к плохо сформированному HTML.

Установка производится через pip:

pip install requests beautifulsoup4 lxml

Краткий обзор структуры HTML-таблиц (table, tr, th, td)

HTML-таблица состоит из следующих основных элементов:

<table>: определяет саму таблицу.
<tr>: определяет строку таблицы (table row).
<th>: определяет заголовочную ячейку (table header). Обычно находится в первой строке.
<td>: определяет ячейку с данными (table data).

Понимание этой структуры необходимо для эффективного парсинга таблиц.

Получение HTML-контента страницы

Использование библиотеки requests для загрузки HTML

Библиотека requests используется для отправки HTTP-запросов к веб-серверу и получения ответа. Основная функция – requests.get(), которая возвращает объект Response, содержащий HTML-код страницы.

import requests

url: str = "https://www.example.com"
response: requests.Response = requests.get(url)
html_content: str = response.text

print(f"Status code: {response.status_code}")

Обработка исключений при загрузке страницы (ошибки соединения, статусы HTTP)

Важно обрабатывать возможные ошибки при загрузке страницы, такие как ошибки соединения (requests.exceptions.ConnectionError) или ошибки HTTP (например, 404 Not Found, 500 Internal Server Error).

import requests

url: str = "https://www.example.com"

try:
    response: requests.Response = requests.get(url)
    response.raise_for_status()  # Raises HTTPError for bad responses (4xx or 5xx)
    html_content: str = response.text
except requests.exceptions.RequestException as e:
    print(f"Error during request: {e}")
    html_content: str = None

if html_content:
    print("Page content loaded successfully.")

Отправка GET-запросов с параметрами

Иногда необходимо передавать параметры в GET-запросе, например, для выполнения поиска. Это можно сделать, передав словарь с параметрами в аргумент params функции requests.get().

import requests

url: str = "https://www.example.com/search"
params: dict = {"q": "веб-скрейпинг", "page": 1}
response: requests.Response = requests.get(url, params=params)

print(response.url)  # Displays the URL with parameters.

Использование User-Agent для имитации браузера

Многие сайты блокируют запросы от скриптов, поэтому важно имитировать браузер, устанавливая заголовок User-Agent.

import requests

url: str = "https://www.example.com"
headers: dict = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"}
response: requests.Response = requests.get(url, headers=headers)

Парсинг HTML-таблиц с Beautiful Soup

Создание объекта Beautiful Soup из HTML-кода

После получения HTML-кода необходимо создать объект BeautifulSoup, который позволит удобно парсить документ.

from bs4 import BeautifulSoup
import requests

url: str = "https://www.example.com"
response: requests.Response = requests.get(url)
html_content: str = response.text

soup: BeautifulSoup = BeautifulSoup(html_content, "lxml") # or 'html5lib'

Поиск таблиц на странице: методы find() и find_all()

Методы find() и find_all() используются для поиска элементов на странице. find() возвращает только первый найденный элемент, а find_all() возвращает список всех найденных элементов.

from bs4 import BeautifulSoup

html_content: str = "..."
soup: BeautifulSoup = BeautifulSoup(html_content, "lxml")

table: BeautifulSoup.Tag = soup.find("table") # Finds the first table
tables: list[BeautifulSoup.Tag] = soup.find_all("table") # Finds all tables

Извлечение данных из таблицы: перебор строк (tr) и ячеек (td, th)

Для извлечения данных из таблицы необходимо перебрать строки (<tr>) и ячейки (<td>, <th>) внутри каждой строки.

from bs4 import BeautifulSoup

html_content: str = "..."
soup: BeautifulSoup = BeautifulSoup(html_content, "lxml")
table: BeautifulSoup.Tag = soup.find("table")

if table:
    for row in table.find_all("tr"):
        cells: list[BeautifulSoup.Tag] = row.find_all("td")
        for cell in cells:
            print(cell.text)

Получение текста из ячеек таблицы: метод get_text()

Метод get_text() позволяет извлечь текст из элемента, удаляя все HTML-теги.

from bs4 import BeautifulSoup

html_content: str = "..."
soup: BeautifulSoup = BeautifulSoup(html_content, "lxml")
table: BeautifulSoup.Tag = soup.find("table")

if table:
    for row in table.find_all("tr"):
        cells: list[BeautifulSoup.Tag] = row.find_all("td")
        for cell in cells:
            text: str = cell.get_text(strip=True)  # strip=True removes leading/trailing whitespace
            print(text)

Обработка атрибутов тегов (например, class, id)

Атрибуты тегов можно использовать для более точного поиска элементов. Например, можно найти таблицу с определенным классом или ID.

from bs4 import BeautifulSoup

html_content: str = "..."
soup: BeautifulSoup = BeautifulSoup(html_content, "lxml")
table: BeautifulSoup.Tag = soup.find("table", {"class": "data-table"})

Работа с различными типами таблиц

Обработка таблиц с заголовками (th)

При обработке таблиц с заголовками, необходимо сначала извлечь заголовки, а затем данные. Заголовки обычно находятся в тегах <th>.

from bs4 import BeautifulSoup

html_content: str = "..."
soup: BeautifulSoup = BeautifulSoup(html_content, "lxml")
table: BeautifulSoup.Tag = soup.find("table")

if table:
    headers: list[str] = [th.get_text(strip=True) for th in table.find_all("th")]
    data: list[list[str]] = []

    for row in table.find_all("tr")[1:]:
        cells: list[str] = [td.get_text(strip=True) for td in row.find_all("td")]
        data.append(cells)

    print(f"Headers: {headers}")
    print(f"Data: {data}")

Извлечение данных из таблиц со сложной структурой (rowspan, colspan)

Таблицы со сложной структурой, использующие атрибуты rowspan и colspan, требуют более сложной логики для правильного извлечения данных. Необходимо учитывать объединение ячеек по строкам и столбцам.

К сожалению, Beautiful Soup не предоставляет встроенных средств для автоматической обработки таких таблиц. Придется вручную анализировать атрибуты rowspan и colspan и соответствующим образом корректировать извлечение данных.

Работа с таблицами, содержащими ссылки и другие элементы

Если ячейки таблицы содержат ссылки или другие элементы, необходимо извлечь информацию из этих элементов. Например, можно извлечь URL из ссылки.

from bs4 import BeautifulSoup

html_content: str = "..."
soup: BeautifulSoup = BeautifulSoup(html_content, "lxml")
table: BeautifulSoup.Tag = soup.find("table")

if table:
    for row in table.find_all("tr"):
        for cell in row.find_all("td"):
            link: BeautifulSoup.Tag = cell.find("a")
            if link:
                url: str = link["href"]
                print(url)

Обход пустых ячеек и обработка отсутствующих данных

При парсинге таблиц необходимо учитывать возможность наличия пустых ячеек или отсутствующих данных. Рекомендуется проверять наличие данных в каждой ячейке и обрабатывать пустые значения, например, заменяя их на None или пустую строку.

from bs4 import BeautifulSoup

html_content: str = "..."
soup: BeautifulSoup = BeautifulSoup(html_content, "lxml")
table: BeautifulSoup.Tag = soup.find("table")

if table:
    for row in table.find_all("tr"):
        cells: list[str] = []
        for cell in row.find_all("td"):
            text: str = cell.get_text(strip=True)
            cells.append(text if text else None)
        print(cells)

Сохранение полученных данных

Преобразование данных в структурированный формат (списки, словари)

Перед сохранением данные необходимо преобразовать в структурированный формат, такой как список списков (для представления таблицы) или список словарей (где каждый словарь представляет строку таблицы с ключами-заголовками).

Запись данных в CSV-файл с использованием библиотеки csv

Для записи данных в CSV-файл используется библиотека csv.

import csv

data: list[list[str]] = [["Name", "Age", "City"], ["John", "30", "New York"], ["Jane", "25", "London"]]

with open("data.csv", "w", newline="", encoding="utf-8") as csvfile:
    writer = csv.writer(csvfile)
    writer.writerows(data)

Сохранение данных в Excel-файл (xlsx) с использованием библиотеки openpyxl

Для записи данных в Excel-файл используется библиотека openpyxl.

import openpyxl

data: list[list[str]] = [["Name", "Age", "City"], ["John", "30", "New York"], ["Jane", "25", "London"]]

workbook = openpyxl.Workbook()
sheet = workbook.active

for row in data:
    sheet.append(row)

workbook.save("data.xlsx")

Запись данных в базу данных (например, SQLite)

Для записи данных в базу данных (например, SQLite) используется библиотека sqlite3.

import sqlite3

conn = sqlite3.connect("data.db")
cursor = conn.cursor()

cursor.execute("""CREATE TABLE IF NOT EXISTS users (
                    name TEXT,
                    age INTEGER,
                    city TEXT
                )""")

data: list[tuple] = [("John", 30, "New York"), ("Jane", 25, "London")]

cursor.executemany("INSERT INTO users VALUES (?, ?, ?)", data)

conn.commit()
conn.close()

Продвинутые техники и решения

Использование CSS-селекторов для поиска таблиц и элементов (select, select_one)

Методы select() и select_one() позволяют использовать CSS-селекторы для поиска элементов. Это более мощный и гибкий способ поиска по сравнению с использованием только тегов и атрибутов.

from bs4 import BeautifulSoup

html_content: str = "..."
soup: BeautifulSoup = BeautifulSoup(html_content, "lxml")

table: BeautifulSoup.Tag = soup.select_one(".data-table")  # Finds the first table with class 'data-table'
rows: list[BeautifulSoup.Tag] = soup.select("#table-id tr") # Finds all tr elements within the element with ID 'table-id'

Работа с динамически загружаемым контентом (AJAX): использование Selenium (краткий обзор)

Если контент на странице загружается динамически с использованием AJAX, Beautiful Soup не сможет получить его напрямую. В этом случае необходимо использовать инструменты, которые могут выполнять JavaScript, такие как Selenium. Selenium позволяет автоматизировать взаимодействие с браузером и получить HTML-код после загрузки динамического контента.

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup

chrome_options = Options()
chrome_options.add_argument("--headless")  # Run Chrome in headless mode (without GUI)

driver = webdriver.Chrome(options=chrome_options)
url: str = "https://www.example.com"
driver.get(url)
html_content: str = driver.page_source
driver.quit()

soup: BeautifulSoup = BeautifulSoup(html_content, "lxml")

Обход защиты от скрейпинга: лимиты запросов, Captcha, и др. (общие рекомендации)

Многие сайты используют защиту от скрейпинга, чтобы предотвратить автоматизированный сбор данных. Для обхода такой защиты можно использовать следующие методы:

Лимиты запросов: Делайте запросы с разумной задержкой, чтобы не перегружать сервер.
User-Agent: Используйте реалистичные значения User-Agent.
Прокси: Используйте прокси-серверы для изменения IP-адреса.
Captcha: По возможности избегайте сайтов с Captcha или используйте сервисы для их автоматического решения (что может быть дорого и нарушать условия использования сайта).

Многопоточность для ускорения скрейпинга (краткий обзор)

Для ускорения процесса скрейпинга можно использовать многопоточность или асинхронность. Это позволяет выполнять несколько запросов одновременно. Однако необходимо соблюдать осторожность, чтобы не перегружать сервер и не быть заблокированным.

Примеры кода

Пример 1: Скрейпинг таблицы с данными о курсах валют

import requests
from bs4 import BeautifulSoup

url: str = "https://www.cbr.ru/currency_base/daily/"
response: requests.Response = requests.get(url)
response.raise_for_status()

soup: BeautifulSoup = BeautifulSoup(response.text, "lxml")
table: BeautifulSoup.Tag = soup.find("table", {"class": "data"})

if table:
    headers: list[str] = [th.get_text(strip=True) for th in table.find_all("th")]
    data: list[list[str]] = []

    for row in table.find_all("tr")[1:]:
        cells: list[str] = [td.get_text(strip=True) for td in row.find_all("td")]
        data.append(cells)

    for row in data:
        print(row)

Пример 2: Извлечение данных о ценах на товары из интернет-магазина

import requests
from bs4 import BeautifulSoup

url: str = "https://www.example.com/products"
response: requests.Response = requests.get(url)
response.raise_for_status()

soup: BeautifulSoup = BeautifulSoup(response.text, "lxml")

products: list[BeautifulSoup.Tag] = soup.find_all("div", {"class": "product"})

for product in products:
    name: str = product.find("h2", {"class": "product-name"}).get_text(strip=True)
    price: str = product.find("span", {"class": "product-price"}).get_text(strip=True)
    print(f"Product: {name}, Price: {price}")

Пример 3: Сбор статистики с сайта с результатами спортивных соревнований

import requests
from bs4 import BeautifulSoup

url: str = "https://www.example.com/sports/results"
response: requests.Response = requests.get(url)
response.raise_for_status()

soup: BeautifulSoup = BeautifulSoup(response.text, "lxml")
table: BeautifulSoup.Tag = soup.find("table", {"class": "results-table"})

if table:
    for row in table.find_all("tr")[1:]:
        cells: list[str] = [cell.get_text(strip=True) for cell in row.find_all("td")]
        print(cells)

Заключение

Краткое повторение основных моментов

Веб-скрейпинг с использованием Beautiful Soup и Python – мощный инструмент для автоматического извлечения данных с веб-сайтов. Он требует понимания структуры HTML, умения работать с библиотеками requests и Beautiful Soup, а также знания основных принципов обхода защиты от скрейпинга.