Python BeautifulSoup: Полное руководство по записи данных в файл (CSV, JSON, TXT)

04.12.2025
66712

3 мин
9

BeautifulSoup – мощная библиотека Python для парсинга HTML и XML документов. После извлечения нужных данных возникает задача их сохранения. В этой статье мы рассмотрим различные способы записи данных, полученных с помощью BeautifulSoup, в файлы различных форматов: TXT, CSV и JSON. Мы рассмотрим практические примеры, охватывающие как базовые, так и продвинутые сценарии.

Основы записи данных из BeautifulSoup в файл

Подготовка к записи: получение данных с помощью BeautifulSoup

Прежде чем записывать данные в файл, необходимо их извлечь из HTML или XML. Рассмотрим базовый пример:

from bs4 import BeautifulSoup
import requests

url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

# Пример извлечения всех ссылок
links = soup.find_all('a')

# Пример извлечения текста из всех параграфов
paragraphs = soup.find_all('p')

Обзор различных форматов файлов: TXT, CSV, JSON – какой выбрать?

Выбор формата файла зависит от структуры и назначения данных:

TXT: Простой текстовый формат для хранения строк текста. Подходит для записи извлеченных текстовых данных, например, заголовков, параграфов или URL-адресов.
CSV: Формат для хранения табличных данных (значения, разделенные запятыми). Идеален для записи данных, извлеченных из таблиц HTML.
JSON: Формат для хранения структурированных данных в виде ключ-значение. Подходит для записи сложных объектов, содержащих списки, словари и другие структуры.

Запись в текстовый файл (TXT)

Простой пример записи текста в файл

with open('output.txt', 'w', encoding='utf-8') as f:
    for link in links:
        f.write(link.get('href') + '\n')

В этом примере мы открываем файл output.txt в режиме записи ('w') и записываем в него URL-адреса, извлеченные из ссылок. encoding='utf-8' обеспечивает правильную обработку символов Unicode.

Обработка кодировки и специальных символов при записи в TXT

Важно указывать правильную кодировку при открытии файла, чтобы избежать проблем с отображением символов. utf-8 – наиболее распространенная и рекомендуемая кодировка. Если возникают ошибки, попробуйте другие кодировки, такие как latin-1 или cp1251 (для кириллицы).

Запись данных в CSV файл

Создание CSV файла и запись данных с использованием модуля CSV

import csv

with open('output.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.writer(f)
    writer.writerow(['URL', 'Text'])
    for link in links:
        writer.writerow([link.get('href'), link.text])

Здесь мы используем модуль csv для записи данных в формате CSV. newline='' предотвращает добавление лишних пустых строк. Метод writerow() записывает строку данных в файл. Мы сначала записываем заголовок таблицы, а затем данные.

Работа с табличными данными: извлечение и запись таблиц из HTML в CSV

Часто требуется извлечь таблицу целиком из HTML и записать ее в CSV. Вот пример:

import csv

table = soup.find('table')

with open('table.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.writer(f)
    for row in table.find_all('tr'):
        cells = row.find_all('td')
        if cells:
            writer.writerow([cell.text.strip() for cell in cells])

Этот код находит первую таблицу на странице (soup.find('table')), затем перебирает все строки (<tr>) и ячейки (<td>) в каждой строке. Содержимое каждой ячейки записывается в CSV файл.

Запись данных в JSON файл

Преобразование данных BeautifulSoup в формат JSON

Перед записью данных в JSON, необходимо преобразовать их в структуру Python (словарь или список). Пример:

import json

data = []
for link in links:
    data.append({'url': link.get('href'), 'text': link.text})

# data теперь список словарей

Запись JSON в файл: форматирование и обработка сложных структур данных

with open('output.json', 'w', encoding='utf-8') as f:
    json.dump(data, f, indent=4, ensure_ascii=False)

json.dump() записывает данные в JSON файл. indent=4 добавляет отступы для читаемости. ensure_ascii=False позволяет записывать символы Unicode без экранирования.

Заключение

В этой статье мы рассмотрели основные способы записи данных, полученных с помощью BeautifulSoup, в файлы различных форматов. Выбор формата зависит от типа и структуры данных. Важно помнить о кодировке, особенно при работе с кириллицей и другими не-ASCII символами. Использование модулей csv и json упрощает работу с соответствующими форматами. Не забывайте про обработку исключений, чтобы скрипт работал стабильно при любых условиях. Экспериментируйте и адаптируйте примеры под свои задачи.