Как отфильтровать фрейм данных в Python по значениям нескольких столбцов?

В современном мире данных объемы информации растут с невероятной скоростью, и умение эффективно обрабатывать и анализировать данные становится все более важным навыком для специалистов различных областей. Одной из ключевых задач при работе с данными является фильтрация. Фильтрация позволяет нам извлекать нужную информацию из большого массива данных, что позволяет сосредоточиться на наиболее важных и релевантных данных.

В данной статье мы рассмотрим, как использовать фрейм данных и библиотеку Pandas для фильтрации данных по значениям нескольких столбцов. Мы подробно изучим различные подходы, приведем примеры кода и постараемся сделать процесс максимально понятным и доступным.

Введение в Pandas

Библиотека Pandas является одной из самых популярных и широко используемых библиотек Python для анализа данных. Она предоставляет мощный и гибкий инструмент для работы с табличными данными, такими как таблицы и базы данных. Основные функции Pandas включают:

• Чтение и запись данных из различных источников (например, CSV, Excel, SQL, JSON).
• Манипуляции с данными (например, фильтрация, сортировка, группировка).
• Работа с пропущенными данными.
• Интеграция с другими библиотеками для визуализации и анализа данных.

Пример импорта библиотеки Pandas:

import pandas as pd

Теперь давайте перейдем к созданию фрейма данных.

Создание фрейма данных

Импорт необходимых библиотек

Для начала нам нужно импортировать библиотеку Pandas:

import pandas as pd

Этот шаг необходим для работы с фреймами данных.

Создание фрейма данных

Мы создадим простой фрейм данных с информацией о людях, их возрасте и городе проживания:

data = {
    'Name': ['John', 'Anna', 'Peter'],
    'Age': [28, 24, 35],
    'City': ['New York', 'Paris', 'Berlin']
}
df = pd.DataFrame(data)

Наш фрейм данных выглядит следующим образом:

Теперь, когда у нас есть фрейм данных, мы можем перейти к его фильтрации.

Фильтрация фрейма данных

Фильтрация по одному столбцу

Начнем с фильтрации данных по значению одного столбца. Например, отфильтруем строки, где возраст больше 30:

filtered_df: pd.DataFrame = df[df['Age'] > 30]

Результатом будет только одна строка:

Фильтрация по нескольким столбцам

Теперь добавим фильтрацию по нескольким условиям. Например, отфильтруем строки, где возраст больше 20 и город Париж:

filtered_df: pd.DataFrame = df[(df['Age'] > 20) & (df['City'] == 'Paris')]

Результатом будет одна строка:

Использование метода query() для фильтрации

Метод query() позволяет упростить синтаксис фильтрации. Применим его к нашему примеру:

filtered_df: pd.DataFrame = df.query('Age > 20 & City == "Paris"')

Этот метод также вернет строку с Анной:

Работа с NaN значениями

При работе с реальными данными часто встречаются пропуски. Обработка пропущенных данных может значительно повлиять на результаты фильтрации. Рассмотрим пример, где мы заменим пропущенные значения возраста на среднее значение возраста:

df.fillna({'Age': df['Age'].mean()}, inplace=True)

Этот метод позволяет нам избежать ошибок и неточностей при фильтрации данных с пропусками.

Оптимизация фильтрации

Использование isin() для фильтрации

Метод isin() позволяет фильтровать данные по значениям из списка. Например, отфильтруем строки, где город является либо Парижем, либо Берлином:

filtered_df: pd.DataFrame = df[df['City'].isin(['Paris', 'Berlin'])]

Этот метод вернет строки для Анны и Питера.

Комбинирование фильтров

Мы можем комбинировать различные условия фильтрации для получения более точных результатов. Например, отфильтруем строки, где возраст находится между 20 и 35 и город является либо Парижем, либо Берлином:

filtered_df: pd.DataFrame = df[(df['Age'].between(20, 35)) & (df['City'].isin(['Paris', 'Berlin']))]

Этот метод вернет строки для Анны и Питера.

Сохранение отфильтрованных данных

Сохранение в CSV

После фильтрации данных их часто нужно сохранить. Рассмотрим сохранение данных в формате CSV:

filtered_df.to_csv('filtered_data.csv', index=False)

Сохранение в Excel

Также данные можно сохранить в формате Excel:

filtered_df.to_excel('filtered_data.xlsx', index=False)

Заключение

В данной статье мы рассмотрели различные методы фильтрации данных в фрейме данных с использованием библиотеки Pandas. Мы научились фильтровать данные по одному и нескольким столбцам, использовать метод query(), обрабатывать пропущенные значения и сохранять отфильтрованные данные в различные форматы. Эти навыки помогут вам эффективно работать с данными и извлекать из них полезную информацию.