Поиск всех ссылок на странице: метод find_all('a')

Метод find_all('a') возвращает список всех тегов <a> на странице.

from bs4 import BeautifulSoup
import requests

def get_all_links(url: str) -> list:
    """Извлекает все ссылки с заданной страницы."""
    response = requests.get(url)
    soup = BeautifulSoup(response.content, 'lxml')
    links = soup.find_all('a')
    return links

url = "https://example.com"
links = get_all_links(url)

for link in links:
    print(link)

Чтобы получить значение атрибута href, можно обратиться к тегу как к словарю:

from bs4 import BeautifulSoup
import requests
from typing import Optional

def get_href(link: BeautifulSoup) -> Optional[str]:
    """Извлекает href атрибут из тега <a>."""
    href = link.get('href') # Используем get для безопасного доступа
    return href

url = "https://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.content, 'lxml')
links = soup.find_all('a')

for link in links:
    href = get_href(link)
    if href:
        print(href)

Фильтрация ссылок по атрибутам href: поиск ссылок, содержащих определенный текст

Можно фильтровать ссылки, содержащие определенный текст в атрибуте href. Это особенно полезно для поиска ссылок на конкретные разделы сайта или на определенные страницы.

from bs4 import BeautifulSoup
import requests

def find_links_containing(url: str, text: str) -> list:
    """Извлекает ссылки, содержащие определенный текст в href."""
    response = requests.get(url)
    soup = BeautifulSoup(response.content, 'lxml')
    links = soup.find_all('a', href=lambda href: href and text in href)
    return links

url = "https://example.com"
text = "example"
filtered_links = find_links_containing(url, text)

for link in filtered_links:
    print(link.get('href'))

Извлечение текста из ссылок и других тегов

Текст внутри тега можно получить с помощью атрибута text или метода get_text().

from bs4 import BeautifulSoup
import requests

def get_link_text(link: BeautifulSoup) -> str:
    """Извлекает текст из тега <a>."""
    text = link.text
    return text

url = "https://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.content, 'lxml')
links = soup.find_all('a')

for link in links:
    text = get_link_text(link)
    print(text)

Извлечение текста из других HTML-элементов (например,

,

): применение get_text()

Метод get_text() работает для любых HTML-элементов, не только для ссылок.

from bs4 import BeautifulSoup
import requests

def get_element_text(url: str, tag: str) -> list[str]:
    """Извлекает текст из всех элементов с заданным тегом."""
    response = requests.get(url)
    soup = BeautifulSoup(response.content, 'lxml')
    elements = soup.find_all(tag)
    texts = [element.get_text() for element in elements]
    return texts

url = "https://example.com"
tag = "p"
paragraphs = get_element_text(url, tag)

for paragraph in paragraphs:
    print(paragraph)

Удаление лишних пробелов и форматирование текста

Часто текст, извлеченный из HTML, содержит лишние пробелы. Метод strip() позволяет удалить их.

from bs4 import BeautifulSoup
import requests

def clean_text(text: str) -> str:
    """Удаляет лишние пробелы из текста."""
    return text.strip()

url = "https://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.content, 'lxml')
links = soup.find_all('a')

for link in links:
    text = clean_text(link.text)
    print(text)

Практические примеры извлечения ссылок, href и текста

Пример 1: Извлечение всех ссылок и их текста с главной страницы новостного сайта

Предположим, нам нужно извлечь все ссылки и их текст с главной страницы новостного сайта.

from bs4 import BeautifulSoup
import requests

def extract_news_links(url: str) -> list[tuple[str, str]]:
    """Извлекает ссылки и их текст с новостного сайта."""
    response = requests.get(url)
    soup = BeautifulSoup(response.content, 'lxml')
    links = soup.find_all('a')
    result = []
    for link in links:
        href = link.get('href')
        text = link.text.strip()
        if href:
            result.append((href, text))
    return result

url = "https://www.example.com/news" # Замените на реальный URL
news_links = extract_news_links(url)

for href, text in news_links:
    print(f"Ссылка: {href}, Текст: {text}")

Пример 2: Поиск ссылок, ведущих на определенный домен

Допустим, нужно найти все ссылки на определенный домен.

from bs4 import BeautifulSoup
import requests
from urllib.parse import urlparse

def find_links_to_domain(url: str, domain: str) -> list[str]:
    """Находит ссылки, ведущие на определенный домен."""
    response = requests.get(url)
    soup = BeautifulSoup(response.content, 'lxml')
    links = soup.find_all('a')
    result = []
    for link in links:
        href = link.get('href')
        if href:
            parsed_url = urlparse(href)
            if parsed_url.netloc == domain:
                result.append(href)
    return result

url = "https://www.example.com" # Замените на реальный URL
domain = "example.com" # Замените на реальный домен
domain_links = find_links_to_domain(url, domain)

for link in domain_links:
    print(link)

Пример 3: Извлечение текста статьи с веб-страницы

Извлечение текста статьи с веб-страницы часто требует более сложного анализа HTML-структуры, чтобы отделить основное содержимое от навигации и рекламы. Часто статьи оборачиваются в теги <article>, но это не всегда так.

from bs4 import BeautifulSoup
import requests

def extract_article_text(url: str) -> str:
    """Извлекает текст статьи с веб-страницы."""
    response = requests.get(url)
    response.raise_for_status()
    soup = BeautifulSoup(response.content, 'lxml')

    # Попробуем найти статью внутри тега <article>, если нет, поищем по другим критериям.
    article = soup.find('article')
    if not article:
        # Альтернативная стратегия:  поиск основного контента по class или id
        article = soup.find('div', {'class': 'article-content'})
        if not article:
            article = soup.find('div', {'id': 'main-content'})
            if not article:
                return "Не удалось найти основное содержимое статьи."

    paragraphs = article.find_all('p')
    text = '\n'.join([p.text.strip() for p in paragraphs])
    return text

url = "https://www.example.com/article" # Замените на URL статьи
article_text = extract_article_text(url)
print(article_text)

Продвинутые техники и лучшие практики

Обработка исключений: что делать, если ссылка не найдена или атрибут отсутствует

Важно обрабатывать исключения, чтобы скрипт не завершался аварийно, если ссылка не найдена или атрибут отсутствует. Используйте блоки try...except для обработки возможных ошибок.

from bs4 import BeautifulSoup
import requests

def safe_get_href(link: BeautifulSoup) -> str | None:
    """Безопасно извлекает href атрибут, обрабатывая возможные исключения."""
    try:
        href = link['href']
        return href
    except KeyError:
        return None

url = "https://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.content, 'lxml')
links = soup.find_all('a')

for link in links:
    href = safe_get_href(link)
    if href:
        print(href)

Использование CSS-селекторов для более точного поиска элементов

BeautifulSoup поддерживает CSS-селекторы, что позволяет более точно указывать, какие элементы нужно найти. Метод select() позволяет использовать синтаксис CSS для поиска элементов.

from bs4 import BeautifulSoup
import requests

def find_elements_with_css(url: str, selector: str) -> list:
    """Находит элементы с использованием CSS-селектора."""
    response = requests.get(url)
    soup = BeautifulSoup(response.content, 'lxml')
    elements = soup.select(selector)
    return elements

url = "https://example.com"
selector = "div.article p"
elements = find_elements_with_css(url, selector)

for element in elements:
    print(element.text.strip())

Предотвращение ошибок при парсинге динамически генерируемого контента (JavaScript)

Если контент генерируется JavaScript, BeautifulSoup не сможет его увидеть, так как он работает только со статическим HTML. В таких случаях нужно использовать инструменты, которые могут выполнять JavaScript, например, Selenium или Puppeteer. Эти инструменты позволяют загрузить страницу в браузере и получить HTML-код после выполнения JavaScript.