BeautifulSoup: Как выполнить поиск по нескольким атрибутам?

Краткий обзор BeautifulSoup и его назначения

BeautifulSoup – это библиотека Python, предназначенная для парсинга HTML и XML документов. Она создает дерево разбора из исходного кода, что позволяет легко перемещаться по структуре документа и извлекать нужные данные. BeautifulSoup упрощает работу с веб-страницами, позволяя автоматизировать задачи сбора и анализа информации.

Необходимость поиска элементов по нескольким атрибутам

В большинстве реальных веб-страниц нужные элементы идентифицируются не по одному, а по комбинации атрибутов. Например, вам может понадобиться найти все ссылки с определенным классом, содержащие конкретный текст в атрибуте rel. В таких случаях, возможность поиска по нескольким атрибутам становится критически важной для точного и эффективного извлечения данных.

Базовые методы поиска по атрибутам

Использование метода find() с аргументом attrs

Основной способ поиска элементов по атрибутам в BeautifulSoup – использование метода find() или find_all() с аргументом attrs. Этот аргумент принимает словарь, где ключи – это названия атрибутов, а значения – соответствующие значения атрибутов.

from bs4 import BeautifulSoup
from typing import Optional

html_doc: str = '''
<a href="http://example.com/elsie" class="sister" rel="nofollow">Elsie</a>
<a href="http://example.com/lacie" class="sister" rel="follow">Lacie</a>
<a href="http://example.com/tillie" class="sister" rel="nofollow">Tillie</a>
'''

soup: BeautifulSoup = BeautifulSoup(html_doc, 'html.parser')


def find_link_by_class_and_rel(soup: BeautifulSoup, class_name: str, rel_value: str) -> Optional[BeautifulSoup]:
    """Находит первую ссылку с заданным классом и атрибутом rel."""
    link: Optional[BeautifulSoup] = soup.find('a', attrs={'class': class_name, 'rel': rel_value})
    return link


link: Optional[BeautifulSoup] = find_link_by_class_and_rel(soup, 'sister', 'nofollow')
if link:
    print(link.get('href'))  # Вывод: http://example.com/elsie

Передача словаря атрибутов для точного соответствия

Важно понимать, что при передаче словаря атрибутов в attrs, BeautifulSoup ищет элементы, у которых все указанные атрибуты соответствуют заданным значениям. Это обеспечивает точный поиск.

Поиск с использованием различных операторов и условий

Применение логических операторов (AND, OR, NOT) при поиске

BeautifulSoup напрямую не поддерживает логические операторы AND, OR, NOT в attrs. Для реализации сложной логики следует использовать lambda-функции или фильтровать результаты после поиска.

Поиск элементов, содержащих определенные строки в атрибутах (regex)

Для поиска элементов, атрибуты которых содержат определенные строки, можно использовать регулярные выражения.

import re
from bs4 import BeautifulSoup
from typing import List

html_doc: str = '''
<div id="ad-123"></div>
<div id="banner-456"></div>
<div id="ad-789"></div>
'''

soup: BeautifulSoup = BeautifulSoup(html_doc, 'html.parser')


def find_ads_by_id_regex(soup: BeautifulSoup) -> List[BeautifulSoup]:
    """Находит все div элементы, id которых содержат 'ad-'."""
    ads: List[BeautifulSoup] = soup.find_all('div', id=re.compile(r'^ad-'))
    return ads


ads: List[BeautifulSoup] = find_ads_by_id_regex(soup)
for ad in ads:
    print(ad['id'])  # Вывод: ad-123, ad-789

Использование lambda-функций для сложных условий поиска

Lambda-функции позволяют задавать произвольные условия для поиска элементов. Они принимают элемент в качестве аргумента и возвращают True, если элемент соответствует условию, и False в противном случае.

from bs4 import BeautifulSoup
from typing import List

html_doc: str = '''
<a href="#" data-category="news" data-source="site1">Link 1</a>
<a href="#" data-category="sports" data-source="site2">Link 2</a>
<a href="#" data-category="news" data-source="site2">Link 3</a>
'''

soup: BeautifulSoup = BeautifulSoup(html_doc, 'html.parser')


def find_links_by_category_and_source(soup: BeautifulSoup, category: str, source: str) -> List[BeautifulSoup]:
    """Находит ссылки с заданной категорией и источником."""
    links: List[BeautifulSoup] = soup.find_all(lambda tag: tag.name == 'a' and 
                                         tag.get('data-category') == category and 
                                         tag.get('data-source') == source)
    return links


links: List[BeautifulSoup] = find_links_by_category_and_source(soup, 'news', 'site2')
for link in links:
    print(link.text)  # Вывод: Link 3

Примеры поиска по нескольким атрибутам на практике

Поиск ссылок () с определенным классом и rel атрибутом

from bs4 import BeautifulSoup
from typing import List

html_doc: str = '''
<div class="product" data-price="100" data-available="true">Product 1</div>
<div class="product" data-price="200" data-available="false">Product 2</div>
<div class="product" data-price="150" data-available="true">Product 3</div>
'''

soup: BeautifulSoup = BeautifulSoup(html_doc, 'html.parser')


def find_available_products(soup: BeautifulSoup) -> List[BeautifulSoup]:
    """Находит все товары с классом 'product' и data-available='true'."""
    products: List[BeautifulSoup] = soup.select('div.product[data-available="true"]')
    return products


products: List[BeautifulSoup] = find_available_products(soup)
for product in products:
    print(product.text) # Вывод: Product 1, Product 3