Веб-скрейпинг на Python: Полное руководство по BeautifulSoup и Requests для начинающих

04.11.2025
61991

4 мин
47

Веб-скрейпинг – это мощный инструмент для автоматического извлечения данных с веб-сайтов. В этом руководстве мы рассмотрим, как использовать Python, в связке с библиотеками BeautifulSoup и Requests, для эффективного веб-скрейпинга. Этот материал предназначен для начинающих, но также будет полезен и более опытным разработчикам, желающим улучшить свои навыки.

Основы веб-скрейпинга с Python

Что такое веб-скрейпинг и зачем он нужен?

Веб-скрейпинг (или парсинг веб-страниц) – это процесс автоматизированного извлечения данных с веб-сайтов. Вместо того, чтобы вручную копировать информацию, вы можете написать скрипт, который сделает это за вас. Это полезно для:

Сбора данных для анализа.
Сравнения цен на товары.
Мониторинга изменений на веб-сайтах.
Автоматизации задач, связанных с веб-контентом.

Установка Python, pip, BeautifulSoup и Requests

Прежде чем начать, убедитесь, что у вас установлен Python. Затем установите библиотеки requests и beautifulsoup4 с помощью pip:

pip install requests beautifulsoup4

Знакомство с библиотекой Requests

Requests – это библиотека Python для отправки HTTP-запросов. Она позволяет получать HTML-код веб-страниц, необходимый для дальнейшего парсинга.

Отправка GET и POST запросов

GET-запросы используются для получения данных с сервера.

import requests

url = 'https://www.example.com'
response = requests.get(url)
print(response.status_code)
print(response.content)

POST-запросы используются для отправки данных на сервер (например, при заполнении форм).

import requests

url = 'https://www.example.com/login'
data = {'username': 'user', 'password': 'password'}
response = requests.post(url, data=data)
print(response.status_code)

Обработка ответов сервера: статусы, заголовки, контент

Важно проверять статус ответа сервера. response.status_code содержит код ответа (200 – успешно, 404 – не найдено, 500 – ошибка сервера и т.д.). response.headers содержит заголовки ответа, а response.content – HTML-код страницы.

Основы BeautifulSoup для парсинга HTML

BeautifulSoup – это библиотека Python для парсинга HTML и XML. Она позволяет легко извлекать данные из HTML-кода.

Создание объекта BeautifulSoup и навигация по дереву HTML

from bs4 import BeautifulSoup
import requests

url = 'https://www.example.com'
response = requests.get(url)
html_content = response.content

soup = BeautifulSoup(html_content, 'html.parser')
print(soup.prettify())

Поиск элементов по тегам, атрибутам и CSS-селекторам

Поиск по тегу:

title = soup.find('title')
print(title.text)

Поиск по атрибуту:

Реклама
```
link = soup.find('a', {'id': 'mylink'})
print(link['href'])
```

Поиск по CSS-селектору:

paragraph = soup.select_one('.myclass')
print(paragraph.text)

Практический веб-скрейпинг: Извлечение данных с веб-сайта

Пример: Скрейпинг списка товаров с сайта электронной коммерции

Предположим, у нас есть сайт электронной коммерции, и мы хотим собрать информацию о товарах, включая название и цену.

import requests
from bs4 import BeautifulSoup

url = 'https://www.example-ecommerce-site.com/products'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

products = soup.find_all('div', class_='product')

for product in products:
    name = product.find('h2', class_='product-name').text
    price = product.find('span', class_='product-price').text
    print(f'Name: {name}, Price: {price}')

Сохранение полученных данных в CSV или JSON файл

После извлечения данных их можно сохранить в файл.

CSV:

import csv

data = [['Name', 'Price'], ['Product 1', '100'], ['Product 2', '200']]

with open('products.csv', 'w', newline='') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerows(data)

JSON:

import json

data = [{'Name': 'Product 1', 'Price': 100}, {'Name': 'Product 2', 'Price': 200}]

with open('products.json', 'w') as jsonfile:
    json.dump(data, jsonfile, indent=4)

Продвинутые техники и лучшие практики

Обработка ошибок и исключений при веб-скрейпинге

Важно обрабатывать ошибки, которые могут возникнуть при веб-скрейпинге.

import requests
from bs4 import BeautifulSoup

url = 'https://www.example.com'

try:
    response = requests.get(url)
    response.raise_for_status()  # Raises HTTPError for bad responses (4xx or 5xx)
    soup = BeautifulSoup(response.content, 'html.parser')
    # ... (парсинг данных)
except requests.exceptions.RequestException as e:
    print(f'Error during request: {e}')
except Exception as e:
    print(f'An error occurred: {e}')

Обход защиты от ботов: user-agent, задержки, прокси

Многие веб-сайты используют защиту от ботов. Чтобы её обойти, нужно:

Использовать user-agent:

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)

Добавлять задержки между запросами:
```
import time

time.sleep(1)
```
Использовать прокси-серверы: Это позволяет менять IP-адрес, с которого идут запросы.
```
proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080',
}
response = requests.get(url, proxies=proxies)
```

Заключение

Веб-скрейпинг с использованием BeautifulSoup и Requests – это мощный инструмент для извлечения данных из интернета. Этот мануал охватывает основные концепции, лучшие практики и продвинутые техники, необходимые для успешного веб-скрейпинга. Помните об этических и юридических аспектах парсинга, и используйте эти знания ответственно.