Как вычислить среднее, медиану, моду, стандартное отклонение и дисперсию в Python с помощью NumPy?

Что такое NumPy и зачем он нужен для статистики?

NumPy (Numerical Python) — это фундаментальная библиотека для научных вычислений в Python. Она предоставляет мощные инструменты для работы с многомерными массивами и матрицами, а также содержит большое количество математических функций, оптимизированных для быстрой и эффективной обработки данных. В статистике NumPy незаменим для выполнения операций, таких как вычисление среднего, медианы, стандартного отклонения и дисперсии, особенно при работе с большими наборами данных.

Саммари статьи

ChatGPT

Google AI

Grok

Perplexity

Установка и импорт библиотеки NumPy

Прежде чем начать использовать NumPy, необходимо установить ее. Это можно сделать с помощью pip:

pip install numpy

После установки NumPy импортируется в код:

import numpy as np

Создание массивов NumPy для статистических данных

Для работы с данными в NumPy используются массивы ndarray. Создать массив можно различными способами, например, из списка Python:

import numpy as np

data = [1, 2, 3, 4, 5]
numpy_array = np.array(data)
print(numpy_array)

Вычисление среднего значения с помощью NumPy

Функция numpy.mean(): синтаксис и примеры использования

Функция numpy.mean() используется для вычисления среднего арифметического элементов массива.

import numpy as np

def calculate_mean(data: np.ndarray) -> float:
    """Вычисляет среднее значение массива NumPy.

    Args:
        data (np.ndarray): Массив NumPy.

    Returns:
        float: Среднее значение.
    """
    return np.mean(data)

data = np.array([1, 2, 3, 4, 5])
mean_value = calculate_mean(data)
print(f"Среднее значение: {mean_value}")

Среднее значение для одномерных и многомерных массивов

numpy.mean() работает как с одномерными, так и с многомерными массивами. Для многомерных массивов можно указать ось (axis), по которой нужно вычислить среднее:

import numpy as np

data_2d = np.array([[1, 2, 3], [4, 5, 6]])
mean_row = np.mean(data_2d, axis=1)  # Среднее по строкам
mean_col = np.mean(data_2d, axis=0)  # Среднее по столбцам

print(f"Среднее по строкам: {mean_row}")
print(f"Среднее по столбцам: {mean_col}")

Обработка отсутствующих значений (NaN) при вычислении среднего

Если в массиве есть отсутствующие значения (NaN), можно использовать numpy.nanmean() для их игнорирования:

import numpy as np

data_with_nan = np.array([1, 2, np.nan, 4, 5])
mean_without_nan = np.nanmean(data_with_nan)
print(f"Среднее без учета NaN: {mean_without_nan}")

Определение медианы с использованием NumPy

Функция numpy.median(): как найти медиану набора данных

Медиана — это значение, разделяющее упорядоченный набор данных на две равные части. Функция numpy.median() позволяет вычислить медиану:

import numpy as np

def calculate_median(data: np.ndarray) -> float:
    """Вычисляет медиану массива NumPy.

    Args:
        data (np.ndarray): Массив NumPy.

    Returns:
        float: Медиана.
    """
    return np.median(data)

data = np.array([1, 2, 3, 4, 5])
median_value = calculate_median(data)
print(f"Медиана: {median_value}")

Медиана для различных типов массивов NumPy

Как и numpy.mean(), numpy.median() работает с многомерными массивами. Можно указать ось для вычисления медианы:

import numpy as np

data_2d = np.array([[1, 2, 3], [4, 5, 6]])
median_row = np.median(data_2d, axis=1)
print(f"Медиана по строкам: {median_row}")

Разница между средним и медианой: когда использовать каждое?

Среднее значение чувствительно к выбросам, в то время как медиана более устойчива. Если в данных есть экстремальные значения, лучше использовать медиану. Например, при анализе заработной платы, медиана обычно более показательна, чем среднее.

Вычисление стандартного отклонения и дисперсии

Функции numpy.std() и numpy.var(): основные понятия

Стандартное отклонение показывает, насколько значения в наборе данных отклоняются от среднего. Дисперсия является квадратом стандартного отклонения. В NumPy для их вычисления используются функции numpy.std() и numpy.var().

Расчет стандартного отклонения и дисперсии для выборки и генеральной совокупности

По умолчанию, numpy.std() и numpy.var() вычисляют стандартное отклонение и дисперсию для выборки. Чтобы вычислить для генеральной совокупности, нужно установить ddof=1:

import numpy as np

def calculate_std_and_var(data: np.ndarray) -> tuple[float, float]:
    """Вычисляет стандартное отклонение и дисперсию массива NumPy.

    Args:
        data (np.ndarray): Массив NumPy.

    Returns:
        tuple[float, float]: Стандартное отклонение и дисперсия.
    """
    std_value = np.std(data)
    var_value = np.var(data)
    return std_value, var_value

data = np.array([1, 2, 3, 4, 5])
std_dev, variance = calculate_std_and_var(data)
print(f"Стандартное отклонение: {std_dev}")
print(f"Дисперсия: {variance}")

Интерпретация стандартного отклонения и дисперсии в контексте данных

Стандартное отклонение позволяет оценить разброс данных. Большое стандартное отклонение указывает на то, что значения сильно отличаются от среднего, а малое — на то, что они сконцентрированы вокруг среднего. Дисперсия, как квадрат стандартного отклонения, также характеризует разброс, но интерпретируется сложнее.

Определение моды с использованием SciPy

Функция scipy.stats.mode(): нахождение моды в массиве NumPy

Мода — это значение, которое встречается в наборе данных наиболее часто. Для вычисления моды в NumPy обычно используется функция scipy.stats.mode() из библиотеки SciPy:

from scipy import stats
import numpy as np

def calculate_mode(data: np.ndarray) -> tuple[np.ndarray, np.ndarray]:
    """Вычисляет моду массива NumPy.

    Args:
        data (np.ndarray): Массив NumPy.

    Returns:
        tuple[np.ndarray, np.ndarray]: Мода и количество ее появлений.
    """
    mode_result = stats.mode(data)
    return mode_result.mode, mode_result.count

data = np.array([1, 2, 2, 3, 3, 3, 4, 4, 4, 4])
mode_value, mode_count = calculate_mode(data)
print(f"Мода: {mode_value}")
print(f"Количество появлений: {mode_count}")

Обработка мультимодальных данных

Если в наборе данных несколько мод (несколько значений встречаются одинаково часто и чаще других), scipy.stats.mode() вернет наименьшее из них. Для обработки мультимодальных данных потребуется дополнительный анализ.

Примеры использования моды для анализа данных

Мода полезна для анализа категориальных данных или данных, где важно определить наиболее часто встречающееся значение. Например, в контекстной рекламе, мода может указать на наиболее популярный запрос пользователей.