Beautiful Soup: Как найти элемент в элементе?

Введение в Beautiful Soup и поиск элементов

Краткое описание библиотеки Beautiful Soup

Beautiful Soup – это мощная Python-библиотека, предназначенная для парсинга HTML и XML документов. Она позволяет легко извлекать данные из веб-страниц, представляя HTML-код в виде древовидной структуры, по которой удобно перемещаться и искать нужные элементы. Beautiful Soup избавляет от необходимости писать сложные регулярные выражения, предоставляя интуитивно понятные методы для навигации и поиска.

Основные методы поиска элементов: find() и find_all()

• find(): Находит первый элемент, соответствующий заданным критериям. Возвращает объект Tag или None, если ничего не найдено.
• find_all(): Находит все элементы, соответствующие критериям. Возвращает список объектов Tag. Если ничего не найдено, возвращает пустой список.

Оба метода принимают различные аргументы, такие как имя тега, атрибуты и текст, что позволяет гибко настраивать поиск.

Обзор способов навигации по дереву HTML

Beautiful Soup предоставляет несколько способов навигации по HTML-дереву:

• contents: Список дочерних элементов текущего элемента.
• children: Итератор по дочерним элементам.
• parent: Родительский элемент.
• next_sibling и previous_sibling: Следующий и предыдущий элементы на том же уровне.

Эти методы позволяют перемещаться по дереву и находить элементы, связанные с уже найденными.

Поиск элемента внутри другого элемента: основы

Примеры простого поиска вложенных элементов

Предположим, у нас есть HTML-фрагмент:

<div id="main">
    <p class="text">Текст параграфа <span>Важный текст</span></p>
</div>

Чтобы найти <span> внутри <p> с классом «text», нужно сначала найти <p>, а затем уже в нём искать <span>.

Использование find() для поиска элемента внутри элемента

from bs4 import BeautifulSoup
from typing import Optional

html: str = """<div id="main">  <p class="text">Текст параграфа <span>Важный текст</span></p></div>"""
soup: BeautifulSoup = BeautifulSoup(html, 'html.parser')

def find_nested_span(soup: BeautifulSoup) -> Optional[str]:
    """Находит тег <span> внутри тега <p> с классом 'text'."""
    p_tag = soup.find('p', class_='text')
    if p_tag:
        span_tag = p_tag.find('span')
        if span_tag:
            return span_tag.text
    return None

span_text: Optional[str] = find_nested_span(soup)
if span_text:
    print(f"Найденный текст: {span_text}")  # Вывод: Найденный текст: Важный текст
else:
    print("Span не найден")

Ограничение области поиска заданным элементом

Ключевой момент – ограничение области поиска. Вместо поиска по всему документу, мы ищем только внутри конкретного элемента. Это повышает эффективность и точность.

Продвинутый поиск вложенных элементов

Использование CSS-селекторов для точного поиска

Метод select() позволяет использовать CSS-селекторы для более точного поиска. Например, чтобы найти все <span> внутри <p> с классом «text», можно использовать селектор p.text span.

from bs4 import BeautifulSoup
from typing import List

html: str = """<div id="main">  <p class="text">Текст параграфа <span>Важный текст</span></p>  <p class="text">Другой текст <span>Ещё важный текст</span></p></div>"""
soup: BeautifulSoup = BeautifulSoup(html, 'html.parser')

def find_all_spans_in_paragraphs(soup: BeautifulSoup) -> List[str]:
    """Находит все теги <span> внутри тегов <p> с классом 'text'."""
    span_texts: List[str] = []
    for span in soup.select('p.text span'):
        span_texts.append(span.text)
    return span_texts

span_texts: List[str] = find_all_spans_in_paragraphs(soup)
print(f"Найденные тексты: {span_texts}")  # Вывод: Найденные тексты: ['Важный текст', 'Ещё важный текст']

Поиск по атрибутам вложенных элементов

Можно комбинировать поиск по тегам и атрибутам. Например, найти <input> с атрибутом `type=