Pandas: Полный учебник и шпаргалка по анализу данных на Python

Pandas — это краеугольный камень экосистемы Python для научных вычислений и анализа данных. Если вы когда-либо сталкивались с табличными данными — будь то данные из CSV-файла, базы данных или электронных таблиц — вы знаете, что они требуют структурированной обработки. Именно для этой задачи и был создан Pandas. Он предоставляет высокоуровневые, удобные структуры данных, такие как DataFrame и Series, которые позволяют работать с данными так, будто вы используете мощную, но гибкую версию Excel, но с вычислительной мощью Python.

Саммари статьи

ChatGPT

Google AI

Grok

Perplexity

Данный материал задуман как комплексное руководство и шпаргалка по библиотеке. Мы не просто перечислим функции; мы построим пошаговый путь от абсолютных основ до продвинутых манипуляций. Наша цель — дать вам не просто набор синтаксических конструкций, а глубокое понимание того, как и когда использовать те или иные методы.

В процессе изучения вы освоите:

• Импорт и подготовку: Как эффективно загружать данные из различных источников и проводить первичную проверку их качества.

• Манипуляции: Как извлекать нужные срезы, фильтровать записи по сложным условиям и трансформировать данные.

• Очистка: Как справляться с

Основы Pandas: DataFrame и Series

После того как мы определили роль Pandas в пайплайне анализа данных, необходимо погрузиться в его фундаментальные строительные блоки. В основе библиотеки лежат два ключевых объекта: Series и DataFrame. Понимание их структуры и различий — это первый и самый важный шаг к мастерству работы с данными в Python. Эти объекты являются основой для всех последующих операций, будь то загрузка, очистка или сложная агрегация.

Мы начнем с изучения этих базовых структур. Освоение того, как Pandas представляет одномерные (Series) и двумерные (DataFrame) данные, позволит нам уверенно двигаться к практическим задачам, таким как чтение файлов и манипуляции с данными.

Знакомство с DataFrame: создание и структура

В основе библиотеки Pandas лежат два фундаментальных объекта, которые служат контейнерами для ваших данных: Series и DataFrame. Понимание их структуры — это ключ к эффективной работе с данными в Python.

Series: Это одномерный массив, который может содержать любые типы данных (числа, строки, булевы значения и т.д.). Он похож на столбец в электронной таблице и всегда имеет индекс.

DataFrame: Это, по сути, двумерная, изменяемая табличная структура данных. Представьте себе таблицу в Excel или SQL — это и есть DataFrame. Он состоит из именованных столбцов, каждый из которых представляет собой объект Series. DataFrame позволяет работать с данными, имеющими структуру

Объекты Series: одномерные данные и индексация

Если DataFrame — это сердце Pandas, то Series — это его фундаментальный строительный блок. По сути, Series — это одномерный массив, который, однако, обогащен мощным механизмом индексации. В отличие от простого NumPy-массива, где элементы нумеруются последовательно, Series позволяет присваивать каждому значению уникальный, именованный индекс (метку). Это критически важно для отслеживания происхождения данных и обеспечения читаемости кода.

Ключевые особенности Series:

1. Одномерность: Хранит данные в виде столбца.

2. Индекс (Index): Обеспечивает метки для каждого элемента, что позволяет обращаться к данным по имени, а не только по порядковому номеру.

3. Совместимость: Series часто используются как отдельные столбцы внутри DataFrame.

Пример создания:

import pandas as pd

# Создание Series с явным индексом
data = [10, 20, 30]
labels = ['A', 'B', 'C']
my_series = pd.Series(data, index=labels)
print(my_series)

Индексация и Срезы:

Доступ к элементам осуществляется через квадратные скобки [], используя либо метки индекса, либо целочисленные позиции. Это позволяет извлекать подмножества данных с высокой точностью. Например, можно получить значение по метке 'B' или все значения с индексом от 'A' до 'C'.

Понимание Series и его индекса — это первый шаг к мастерству работы с DataFrame, поскольку любая операция над столбцом DataFrame по сути является операцией над Series.

Загрузка, Сохранение и Первичный Анализ Данных

После того как мы освоили фундаментальные строительные блоки — объекты Series и их индексация, пора перейти к работе с полноценными табличными данными в формате DataFrame. Настоящий анализ данных редко начинается с идеально подготовленного набора данных; чаще всего данные приходят из внешних источников. Поэтому следующим критически важным этапом является умение эффективно импортировать, сохранять и провести первичный экспресс-анализ этих внешних данных. Этот раздел научит вас

Чтение и запись данных (CSV, Excel, JSON и др.)

Переход от теории к практике начинается с загрузки данных. Pandas предоставляет мощный и унифицированный набор функций для работы с практически любым источником данных. Понимание, как корректно импортировать данные, — это первый и самый важный шаг в любом аналитическом проекте.

Для импорта данных используются функции, соответствующие формату файла. В контексте шпаргалки запомните следующие ключевые методы:

• CSV (Comma Separated Values): Самый распространенный формат. Используйте pd.read_csv('путь/к/файлу.csv'). Этот метод часто требует указания разделителя (sep) или кодировки (encoding).

• Excel: Для работы с файлами .xlsx или .xls применяется pd.read_excel('путь/к/файлу.xlsx', sheet_name='ИмяЛиста'). Помните, что в книге может быть несколько листов.

• JSON (JavaScript Object Notation): Идеален для веб-данных. Используйте pd.read_json('путь/к/файлу.json').

• Базы данных: Для прямого подключения к SQL-источникам (PostgreSQL, MySQL) используется движок sqlalchemy в связке с pd.read_sql().

Совет эксперта: Всегда проверяйте, какие параметры (например, index_col, dtype) могут потребоваться для корректной загрузки, чтобы избежать ошибок на этапе первичного анализа.

Сохранение данных не менее важно. Для экспорта используйте соответствующие методы: df.to_csv('новый_файл.csv', index=False), df.to_excel('новый_файл.xlsx', sheet_name='Данные') и df.to_json('новый_файл.json'). Параметр index=False критически важен, чтобы не записывать индекс DataFrame как лишний столбец.

Изучение структуры и базовой статистики данных (head, info, describe)

После того как мы научились загружать данные из внешних источников, следующим шагом является первичное понимание их структуры и содержимого. Pandas предоставляет мощный набор методов для быстрого

Выборка, Фильтрация и Модификация Данных

После того как мы освоили базовые методы изучения структуры данных — head(), info() и describe() — наступает этап, когда данные готовы к реальной работе. На этом шаге мы переходим от простого осмотра к активному манипулированию: нам необходимо извлекать нужные подмножества данных, отсеивать нерелевантную информацию и изменять структуру. Эффективная выборка и фильтрация — это краеугольный камень любого анализа, позволяющий сфокусироваться только на интересующих нас наблюдениях и переменных.

Далее мы углубимся в механизмы точного адресования данных, изучив мощь индексации по меткам и позициям. Мы научимся применять логические условия для создания сложных фильтров, а также освоим техники добавления, изменения и трансформации столбцов, что является основой для подготовки данных к дальнейшей агрегации и моделированию.

Эффективная индексация и срезы (.loc, .iloc, [])

После того как мы научились загружать и осматривать данные, следующим критически важным шагом является точное извлечение нужных подмножеств информации. Pandas предоставляет мощные механизмы индексации и срезов, которые позволяют работать с данными с хирургической точностью. Главное различие, которое необходимо усвоить, — это разница между .loc[] и .iloc[].

• .loc[] (Label-based indexing): Использует метки (имена строк и столбцов) для выбора данных. Это самый интуитивно понятный метод, когда вы знаете названия нужных вам столбцов или индексов.

  • Пример: df.loc[строка_метка, столбец_метка]

• .iloc[] (Integer-based indexing): Использует целочисленные позиции (индексы, начиная с 0), игнорируя названия. Это полезно, когда вы работаете с позициями, а метки могут быть непредсказуемыми или не заданными.

  • Пример: df.iloc[строка_позиция, столбец_позиция]

Срезы (Slicing): Выбор диапазона данных также требует понимания этих инструментов. При использовании срезов в .loc[] необходимо включать конечную метку (в отличие от стандартного Python-среза).

Логическая фильтрация: Это мощный средство для отбора строк по условию. Вы создаете булеву маску (Series из True/False) и передаете ее в качестве фильтра. Операторы & (И), | (ИЛИ) и ~ (НЕ) используются для комбинирования условий. Всегда заключайте условия в скобки!

Модификация данных: Добавление или изменение столбцов — это элементарная, но частая операция. Для добавления нового столбца, вы просто присваиваете ему значения, которые должны быть выровнены по индексу DataFrame. Например, вычисляемый столбец: df['Новый_Столбец'] = df['Столбец_A'] * 2 + df['Столбец_B']

Логическая фильтрация, добавление и изменение столбцов

После того как мы освоили точное извлечение данных с помощью .loc и .iloc, следующим шагом является применение логических условий для более сложной фильтрации и расширение структуры данных.

Логическая фильтрация: Выборка по условию

Логическая фильтрация — это краеугольный камень анализа данных. Вместо выбора по известным индексам, мы выбираем строки, которые удовлетворяют заданному условию. Это достигается созданием булевой маски (Series из True/False).

Синтаксис: df[условие]

Пример: Выбрать всех пользователей старше 30 лет и из Москвы: df[(df['Возраст'] > 30) & (df['Город'] == 'Москва')]

Обратите внимание на использование & (И) и | (ИЛИ) для объединения условий, а также обязательных скобок вокруг каждого условия.

Добавление и изменение столбцов

Расширение DataFrame — это не только добавление новых признаков, но и их вычисление на основе существующих. Это одна из самых частых операций в аналитике.

1. Создание нового столбца: Простое присваивание нового значения или вычисление на основе других столбцов. df['Новый_Столбец'] = df['Столбец_A'] * 2 + df['Столбец_B']

2. Изменение существующего столбца: Перезапись данных в столбце. df['Столбец_A'] = df['Столбец_A'].apply(lambda x: x.upper())

Для сложных трансформаций (например, преобразование текста или применение математических функций к каждой ячейке) используйте метод .apply() в сочетании с lambda или пользовательскими функциями. Это позволяет нам не просто скопировать данные, а трансформировать их, делая набор данных более информативным для дальнейшего анализа.

Очистка и Предобработка Данных

После того как мы освоили извлечение, фильтрацию и трансформацию данных, наступает самый критичный этап любого реального проекта — подготовка данных к анализу. В реальном мире данные редко бывают идеальными: они содержат пропуски, дубликаты или некорректные типы данных. Игнорирование этих «грязных» аспектов неизбежно приведет к ошибочным выводам. Поэтому этот раздел посвящен искусству очистки и предобработки. Здесь мы научимся не просто работать с данными, а делать их боеготовыми для дальнейшего анализа или моделирования.

Мы рассмотрим комплексный набор инструментов для выявления и устранения аномалий, а также методы стандартизации структуры данных, чтобы ваш DataFrame был максимально надежным и готов к продвинутым манипуляциям.

Работа с пропущенными значениями (NaN): обнаружение, заполнение, удаление

Работа с пропущенными значениями (NaN) — это краеугольный камень любой реальной задачи анализа данных. Сырые данные редко бывают идеальными; пропуски (NaN) — это не ошибка, а информация, которую нужно обработать. Игнорировать их нельзя, иначе последующие расчеты будут некорректными.

Обнаружение пропусков

Прежде чем что-либо исправлять, необходимо понять масштаб проблемы. Используйте метод .isnull() или .isna() для создания булевой маски, где True указывает на пропуск. Чтобы получить сводную статистику по всем пропускам в DataFrame, примените .sum() к результату:

df.isnull().sum()

Стратегии обработки пропусков

Существует три основных подхода к работе с NaN:

1. Удаление (Dropping): Если пропусков мало и они не критичны, можно удалить строки или столбцы. Используйте df.dropna():

   • df.dropna(): Удаляет любую строку, содержащую хотя бы один NaN.

   • df.dropna(axis=1): Удаляет столбец, содержащий хотя бы один NaN.

   • df.dropna(subset=['col1', 'col2']): Удаляет строку, если пропуски обнаружены только в указанных столбцах.

2. Заполнение (Imputation): Это наиболее частый и рекомендуемый метод. Вместо удаления, мы подставляем осмысленное значение. Используйте df.fillna():

   • Константой: Заполнение нулем или средним значением: df['col'] = df['col'].fillna(0).

   • Статистикой: Заполнение медианой или средним значением столбца: df['col'] = df['col'].fillna(df['col'].mean()).

   • Прогрессией: Для временных рядов можно использовать предыдущее значение (method='ffill') или следующее (method='bfill'):

     df['time_series'].fillna(method='ffill', inplace=True)
     

3. Преобразование типов и дубликаты: После обработки пропусков, не забывайте о чистоте данных. Используйте df.drop_duplicates() для удаления повторяющихся записей. Для приведения типов (например, из объекта в числовой) используйте astype() или pd.to_numeric().

Удаление дубликатов и преобразование типов данных

После того как мы разобрались с пропущенными значениями, следующим этапом очистки является устранение избыточности и обеспечение целостности типов данных. Неправильные типы данных (например, числа, хранящиеся как строки) могут привести к ошибкам при расчетах, а дубликаты искажают статистическую картину.

Удаление дубликатов

Для выявления и удаления повторяющихся записей используется метод .duplicated(). Он возвращает булеву серию, указывающую, какие строки являются копиями. Чтобы удалить их, применяем .drop_duplicates():

df.drop_duplicates(subset=['столбец_для_проверки'], keep='first', inplace=True)

• subset: Указывает, по каким столбцам проверять дубликаты.

• keep: Определяет, какую из дублирующихся строк оставить: 'first' (первая), 'last' (последняя) или False (удалить все копии).

Преобразование типов данных (Type Casting)

Критически важно убедиться, что каждый столбец имеет ожидаемый тип данных (int, float, str, datetime). Используйте .astype() для явного приведения типов. Это особенно актуально при импорте данных, где числа могут ошибочно считаться строками.

df['столбец'] = df['столбец'].astype(str)
# Преобразование в формат даты
df['дата'] = pd.to_datetime(df['дата'], format='%Y-%m-%d')

Для комплексного контроля типов данных и выявления несовместимых форматов, всегда полезно использовать .info() после очистки.

Продвинутые Манипуляции: Группировка, Агрегация и Объединение

После того как мы научились очищать данные от шума, дубликатов и неверных типов, наступает этап извлечения реальной бизнес-ценности. На этом уровне анализа данные перестают быть просто таблицей; они становятся источником инсайтов, которые нужно измерить и сравнить. Именно здесь в игру вступают мощные механизмы группировки и объединения.

Эти инструменты позволяют перейти от работы с сырыми данными к получению агрегированных отчетов и комплексным представлениям. Мы научимся не просто смотреть на каждую запись, а видеть общую картину по категориям, а также объединять информацию из разных, но связанных источников.

Группировка (groupby) и агрегация данных

После того как мы научились очищать и готовить данные, наступает самый интересный этап — извлечение бизнес-логики. Здесь в игру вступает мощнейший инструмент — groupby(). Эта функция позволяет нам перейти от работы с данными построчно к анализу агрегированных групп, что критически важно для построения отчетов и выявления трендов.

Концепция groupby имитирует SQL-оператор GROUP BY. Она позволяет применить агрегирующие функции (суммирование, подсчет среднего, нахождение минимума/максимума) к подмножествам данных, определенным по значениям в одном или нескольких столбцах.

Синтаксис и логика:

1. Группировка: Вы вызываете .groupby() на DataFrame, передавая ему один или несколько столбцов, по которым нужно сгруппировать данные (например, по ‘Категории’ или по комбинации ‘Год’ и ‘Регион’).

2. Агрегация: После группировки вы вызываете агрегирующую функцию (например, .sum(), .mean(), .count()) или передаете словарь функций для применения разных агрегаций к разным столбцам.

Пример: Если у нас есть продажи по регионам, мы можем посчитать общую выручку и среднее количество транзакций для каждого региона:

# Предположим, df — наш DataFrame
report = df.groupby('Регион').agg({
    'Выручка': 'sum', 
    'Количество': 'mean'
})
print(report)

Объединение DataFrame: merge, join и concat

В реальных задачах данные редко бывают в одном файле. Чаще всего нам приходится объединять информацию из нескольких источников (например, данные о продажах и данные о продуктах). Для этого Pandas предлагает три ключевых метода:

• pd.merge(): Самый универсальный и рекомендуемый метод. Он работает по принципу SQL-соединений (inner, outer, left, right join) и требует указания общих ключей (полей).

• .join(): Похож на merge(), но по умолчанию пытается использовать индекс DataFrame как ключ соединения. Часто удобен для добавления небольшого набора метаданных к основному датафрейму.

• pd.concat(): Используется для конкатенации (склеивания) датафреймов, когда структура столбцов одинакова, но данные нужно просто

Объединение DataFrame: merge, join и concat

После того как мы научились очищать и трансформировать данные, следующим критически важным шагом является их структурирование из нескольких источников. В реальном анализе данные редко лежат в одной таблице. Здесь нам понадобятся инструменты для слияния (joining) и добавления (concatenating) информации из разных DataFrame.

Pandas предоставляет три основных метода для объединения табличных данных, и понимание различий между ними — ключ к корректному анализу. Выбор метода зависит от того, как связаны ваши исходные данные (по ключу или по порядку).

1. pd.merge(): Объединение по ключу (SQL-подобное слияние)

Это самый мощный и часто используемый метод. Он имитирует операции JOIN из SQL и требует указания общего столбца (или столбцов) — ключа связи. Вы можете контролировать тип соединения:

• how='inner' (По умолчанию): Возвращает только те строки, для которых ключ присутствует в обоих DataFrame.

• how='left': Сохраняет все строки из левого DataFrame и добавляет данные из правого по совпадению ключа (несовпадения будут NaN).

• how='right': Сохраняет все строки из правого DataFrame.

• how='outer': Объединяет все строки из обоих DataFrame, заполняя отсутствующие значения NaN.

Пример: Объединение таблицы Users и Orders по столбцу user_id.

2. DataFrame.join(): Удобное слияние по индексу

Метод .join() по умолчанию пытается выполнить слияние по индексу (подобно left join). Он более лаконичен для сценариев, где связь естественна через порядок записей или индекс, но для явного соединения по столбцу лучше использовать merge().

3. pd.concat(): Построчное или столбцовое добавление

Этот метод не предназначен для соединения по ключу, а скорее для склеивания (stacking) DataFrame. Он используется, когда данные имеют одинаковую структуру и нужно просто добавить их друг за другом:

• axis=0 (По умолчанию): Добавляет DataFrame друг под другом (добавление строк).

• axis=1: Добавляет DataFrame бок о бок (добавление столбцов, если индексы совпадают).

Заключение

Освоение Pandas — это не просто изучение синтаксиса, а освоение мышления аналитика. Мы прошли путь от базового создания структур данных до сложнейших операций объединения и агрегации.

Ключевые выводы для закрепления материала:

1. Индексация — ваш лучший друг: Помните разницу между .loc (по меткам) и .iloc (по позициям). Это основа любой точной выборки.

2. Обработка данных — это 80% работы: Умение работать с NaN (заполнение, удаление) и преобразование типов данных — навыки, которые экономят часы.

3. Манипуляции — это сила: Освоение groupby() и правильное использование merge()/join() позволяет из сырых данных извлекать глубокие инсайты.

Ваш Чит-лист для дальнейшего роста:

• Для новичка: Фокусируйтесь на последовательном прохождении всех этапов: Загрузка $ ightarrow$ Очистка $ ightarrow$ Анализ $ ightarrow$ Визуализация. Не пытайтесь освоить всё сразу.

• Для продвинутого: Изучите оптимизацию производительности (например, использование apply с осторожностью или переход на NumPy для чистых числовых вычислений) и работу с временными рядами (DatetimeIndex).

Pandas — это мощный фундамент для всего стека Data Science. Регулярная практика на реальных,