Как правильно запустить и выполнить код SAS в Jupyter Notebook: полное руководство?

В современном мире анализа данных специалисты часто сталкиваются с необходимостью использования различных инструментов. SAS остается мощным решением для корпоративного анализа, обработки больших объемов данных и статистического моделирования, в то время как Jupyter Notebook предлагает интерактивную и гибкую среду для разработки на Python, визуализации и обмена результатами. Объединение этих двух платформ может значительно повысить эффективность рабочего процесса, позволяя использовать сильные стороны каждого инструмента.

Саммари статьи

ChatGPT

Google AI

Grok

Perplexity

Это руководство призвано предоставить исчерпывающие пошаговые инструкции по интеграции SAS и Jupyter Notebook. Мы рассмотрим, как бесшовно выполнять код SAS, обмениваться данными между Python и SAS, а также визуализировать результаты прямо в интерактивных блокнотах. Цель — дать вам все необходимые знания для создания мощных и гибких аналитических решений.

Введение в интеграцию SAS и Jupyter Notebook

Интеграция SAS и Jupyter Notebook открывает новые горизонты для аналитиков, позволяя объединить мощь SAS в обработке больших данных и статистическом анализе с интерактивностью и гибкостью Jupyter. Это особенно ценно для создания воспроизводимых отчетов, совместной работы и использования библиотек Python для визуализации или машинного обучения поверх данных, обработанных в SAS.

Существует два основных подхода к интеграции:

• Ядро SAS для Jupyter: Позволяет напрямую выполнять код SAS в ячейках Jupyter, используя синтаксис SAS. Это идеальный вариант для пользователей, которые преимущественно работают с SAS и хотят добавить интерактивность Jupyter.

• Пакет SASPy: Предоставляет Python API для программного взаимодействия с SAS-сессией. Этот подход предпочтителен для гибридных рабочих процессов, где Python используется для управления данными, вызова процедур SAS и дальнейшей обработки результатов.

Зачем объединять SAS и Jupyter? Преимущества и сценарии использования

Объединение SAS и Jupyter Notebook открывает новые возможности для аналитиков, позволяя использовать сильные стороны каждого инструмента. Это обеспечивает:

• Интерактивность и гибкость: Jupyter предоставляет среду для пошагового выполнения кода SAS, упрощая отладку и исследовательский анализ данных.

• Воспроизводимость и документирование: Блокноты идеально подходят для создания воспроизводимых отчетов, объединяя код, результаты и пояснения в одном документе.

• Расширение функциональности: Комбинация мощных статистических и аналитических возможностей SAS с обширной экосистемой Python для визуализации, машинного обучения и обработки данных.

• Централизованный рабочий процесс: Управление всем аналитическим проектом — от подготовки данных в SAS до построения моделей в Python — в единой среде.

• Улучшенная коллаборация: Упрощение обмена аналитическими проектами между командами, использующими разные инструменты.

Сценарии использования включают интерактивный исследовательский анализ данных, создание комплексных аналитических конвейеров, интеграцию SAS-анализа в ML-проекты на Python и разработку динамических отчетов.

Обзор основных подходов: ядро SAS для Jupyter и пакет SASPy

Для реализации преимуществ интеграции SAS и Jupyter Notebook существует два основных подхода, каждый из которых предлагает уникальные возможности и сценарии использования:

• Ядро SAS для Jupyter: Этот метод позволяет запускать код SAS непосредственно в ячейках Jupyter Notebook. Он обеспечивает «родной» опыт выполнения SAS-кода, где каждая ячейка может содержать полноценные SAS-программы, а результаты (логи, выводы, графики) отображаются прямо под ячейкой. Это идеальный выбор для пользователей, которые хотят минимизировать переключение контекста и работать преимущественно с синтаксисом SAS.

• Пакет SASPy: Представляет собой библиотеку Python, которая предоставляет API для взаимодействия с SAS. С помощью SASPy вы можете запускать SAS-сессии из Python, передавать данные между Python и SAS, выполнять процедуры SAS и получать результаты обратно в Python для дальнейшей обработки или визуализации. SASPy особенно полезен, когда требуется тесная интеграция и двунаправленный обмен данными между двумя языками, позволяя использовать сильные стороны каждого из них.

Установка и настройка ядра SAS для Jupyter Notebook

Для начала работы с SAS-кодом непосредственно в Jupyter Notebook необходимо установить и активировать специальное ядро SAS. Этот процесс относительно прост:

1. Убедитесь в наличии установленного SAS: Ядро SAS для Jupyter требует активной установки SAS (например, SAS 9.4 или SAS Viya) на вашей машине или доступ к удаленному SAS-серверу.

2. Установите ядро SAS: Откройте терминал или командную строку и выполните команду:

   pip install sas_kernel
   

3. Активируйте ядро: После установки необходимо зарегистрировать ядро в Jupyter:

   python -m sas_kernel.install
   

   Убедитесь, что команда выполнена успешно.

4. Проверка активации: Запустите Jupyter Notebook (jupyter notebook) и при создании нового блокнота выберите SAS из списка доступных ядер. Если ядро SAS присутствует, установка прошла успешно.

Теперь вы можете выполнять SAS-код в ячейках Jupyter. Просто введите ваш SAS-код, и он будет выполнен. Для выполнения Python-кода внутри ячейки с ядром SAS используйте магическую команду %%python в начале ячейки.

Пошаговая установка ядра SAS и проверка его активации

Как было упомянуто, первым шагом является установка пакета sas_kernel. Убедитесь, что у вас установлен Python и pip. Выполните следующую команду в терминале или командной строке:

pip install sas_kernel

После успешной установки пакета необходимо активировать ядро SAS для Jupyter. Это делается с помощью команды:

python -m sas_kernel.install

Эта команда регистрирует ядро SAS в вашей среде Jupyter. После ее выполнения перезапустите Jupyter Notebook или JupyterLab. Для проверки активации ядра откройте Jupyter, нажмите кнопку "New" (Новый) в правом верхнем углу и убедитесь, что в выпадающем списке доступных ядер появился пункт "SAS". Выбрав его, вы создадите новый блокнот, готовый к выполнению кода SAS.

Выполнение SAS кода через ядро: основные команды, вывод результатов и использование ‘магических’ %%python

После успешной активации ядра SAS вы можете выполнять SAS-код непосредственно в ячейках Jupyter. Просто введите ваш SAS-код в ячейку и запустите ее. Например:

proc print data=sashelp.class;
    title 'Список студентов';
run;

Результаты выполнения, включая лог SAS и ODS-вывод (таблицы, текст), будут отображены непосредственно под ячейкой. Это позволяет интерактивно отлаживать и анализировать данные.

Для случаев, когда вам нужно выполнить Python-код в ячейке, которая по умолчанию использует ядро SAS, используйте магическую команду %%python. Эта команда временно переключает интерпретатор ячейки на Python:

%%python
import pandas as pd
df = pd.DataFrame({'A': [1, 2], 'B': [3, 4]})
print(df)

Это позволяет комбинировать возможности SAS и Python в одном блокноте, используя Python для задач, где он более эффективен, например, для предобработки данных или визуализации, а затем возвращаться к SAS.

Использование пакета SASPy для выполнения кода SAS в Jupyter

В отличие от прямого использования ядра SAS, пакет SASPy предоставляет мощный интерфейс Python для взаимодействия с SAS. Это позволяет запускать код SAS, передавать данные между Python и SAS, а также управлять сессиями SAS непосредственно из вашей среды Jupyter Notebook, используя привычный синтаксис Python.

Установка и базовая настройка пакета SASPy в вашей среде Python

Установка SASPy проста и выполняется через pip:

pip install saspy

После установки необходимо настроить подключение к SAS. SASPy использует конфигурационный файл (по умолчанию sascfg_personal.py или sascfg.py), где указываются параметры подключения к локальной или удаленной инсталляции SAS. Пример базовой конфигурации для локального подключения:

SAS_config_names = ['sas9local']
sas9local = {
    'java' : '/usr/bin/java',
    'iomhost' : 'localhost',
    'iomport' : 8591,
    'omrhost' : 'localhost',
    'omrport' : 8561,
    'path' : '/opt/sas/SASHome/SASFoundation/9.4/sas',
    'encoding' : 'utf-8'
}

Путь к исполняемому файлу SAS ('path') и кодировка ('encoding') являются ключевыми параметрами.

Запуск SAS-сессии, передача данных и выполнение процедур SAS через объекты SASPy

После настройки вы можете инициализировать объект SASPy в Jupyter:

import saspy
sas = saspy.SASsession()

Теперь вы можете выполнять код SAS, передавать данные из pandas DataFrame в SAS и обратно, а также вызывать процедуры SAS. Например, для выполнения простого кода SAS:

sas.submit("""
data test; set sashelp.class; run;
proc print data=test; run;
""")

SASPy автоматически возвращает вывод SAS в ячейку Jupyter, что делает его удобным инструментом для интерактивного анализа.

Установка и базовая настройка пакета SASPy в вашей среде Python

Для начала работы с пакетом SASPy в вашей среде Python необходимо выполнить его установку. Это стандартная процедура, которая осуществляется с помощью менеджера пакетов pip:

pip install saspy

После успешной установки ключевым этапом является базовая настройка, которая заключается в создании и конфигурировании файла sascfg.py. Этот файл служит для SASPy инструкцией по подключению к вашей среде SAS. Его рекомендуется размещать в домашней директории пользователя, в текущей рабочей директории Jupyter Notebook или в пути, указанном в переменной окружения SASPY_CONFIG_DIR.

В файле sascfg.py определяются параметры подключения. Для локального запуска SAS достаточно указать путь к исполняемому файлу SAS (например, SAS_path='/opt/sas/SASFoundation/9.4/sas'). При работе с удаленным сервером SAS потребуется указать хост, порт, имя пользователя, пароль и тип соединения (например, IOM или SSH). SASPy позволяет настроить несколько конфигураций, что удобно для переключения между различными средами SAS.

Запуск SAS-сессии, передача данных и выполнение процедур SAS через объекты SASPy

После успешной настройки sascfg.py можно инициализировать SAS-сессию, которая станет вашим основным интерфейсом для взаимодействия с SAS. Для этого импортируйте saspy и создайте объект сессии:

import saspy
sas = saspy.SASsession()

Передача данных из Python в SAS осуществляется легко. Например, чтобы отправить DataFrame Pandas в SAS, используйте метод df2sd():

import pandas as pd
data = {'col1': [1, 2], 'col2': [3, 4]}
df_python = pd.DataFrame(data)
df_sas = sas.df2sd(df_python, libref='WORK', table='MYDATA')

Теперь таблица MYDATA доступна в библиотеке WORK в SAS. Для выполнения процедур SAS используйте метод submit():

sas.submit("proc print data=WORK.MYDATA; run;")

Результаты выполнения, включая лог и вывод, будут доступны через объект sas. Для получения данных обратно в Python можно использовать метод sd2df().

Продвинутые возможности и эффективное взаимодействие

Продолжая тему эффективного взаимодействия, Jupyter Notebook предлагает магические команды для бесшовной интеграции Python и SAS. Команда %%SAS позволяет выполнять блоки кода SAS непосредственно в ячейке Jupyter, используя активную сессию SASPy, что значительно упрощает рабочий процесс. Например, можно напрямую писать и запускать сложные SAS-процедуры, а результаты будут отображаться в выходных данных ячейки.

Для двунаправленного обмена данными и более сложной логики можно использовать %%python внутри SAS-кода, что позволяет выполнять Python-скрипты и манипулировать данными, передавая их между средами. Это открывает широкие возможности для гибридного анализа.

Jupyter также поддерживает удаленный запуск SAS, что критически важно для работы с большими данными или специализированными серверами SAS. Кроме того, визуализация результатов SAS-процедур, таких как графики, созданные с помощью PROC SGPLOT или PROC GCHART, автоматически отображается в выходных данных ячейки Jupyter, обеспечивая наглядность анализа без дополнительных шагов.

Магические команды (%%SAS, %%python) и двунаправленный обмен данными между Python и SAS

Магические команды %%SAS и %%python являются ключевыми для эффективного двунаправленного взаимодействия между средами Python и SAS в Jupyter Notebook. Команда %%SAS позволяет выполнять многострочный SAS-код непосредственно в ячейке Jupyter, что значительно упрощает рабочий процесс.

Особую ценность представляет возможность обмена данными. Вы можете легко передавать переменные из Python в SAS, используя синтаксис макропеременных, что позволяет динамически управлять выполнением SAS-кода на основе данных или параметров, определенных в Python.

Аналогично, результаты выполнения SAS-процедур, такие как SAS-датасеты, могут быть автоматически преобразованы и возвращены в среду Python в виде объектов Pandas DataFrame. Это открывает широкие возможности для дальнейшей обработки, анализа и визуализации данных с использованием богатой экосистемы Python.

Команда %%python, в свою очередь, обеспечивает бесшовное переключение обратно на выполнение Python-кода, позволяя интегрировать SAS-анализ в более крупные Python-скрипты и рабочие процессы.

Удаленный запуск SAS из Jupyter и отображение графиков

Помимо локального выполнения, SASPy предоставляет мощные возможности для удаленного запуска кода SAS на сервере. Это особенно полезно для работы с большими объемами данных или использования специализированных SAS-продуктов, установленных на удаленном сервере. Для настройки удаленного подключения необходимо отредактировать файл sascfg.py, указав параметры сервера (хост, порт, метод аутентификации). После этого инициализация сессии sas = saspy.SASsession() автоматически установит соединение с удаленным сервером.

SASPy также отлично справляется с отображением графиков SAS непосредственно в Jupyter Notebook. Любые графики, сгенерированные с помощью процедур SAS (например, PROC SGPLOT, PROC GPLOT, PROC GCHART), автоматически захватываются и отображаются в ячейке вывода Jupyter. Это значительно упрощает визуализацию результатов анализа, устраняя необходимость экспортировать графики вручную. Например, после выполнения кода SAS с графической процедурой, изображение будет встроено в блокнот.

Решение распространенных проблем и лучшие практики

Несмотря на удобство удаленного выполнения и автоматического отображения графиков, при работе с SAS в Jupyter Notebook могут возникать сложности. Важно знать, как их эффективно устранять и оптимизировать рабочий процесс.

Устранение типичных ошибок при установке, настройке и выполнении кода SAS

• Проблемы с подключением: Убедитесь, что файл sascfg_personal.py корректно настроен и содержит правильные пути к SAS-серверу. Проверьте доступность порта и сетевые настройки.

• Ошибки ядра SAS: Если вы используете ядро SAS, проверьте логи Jupyter для получения подробной информации. Убедитесь, что все необходимые зависимости SAS установлены на сервере.

• Ошибки SASPy: Часто связаны с отсутствием Java Runtime Environment (JRE) или некорректной переменной среды JAVA_HOME. Проверьте версию Java и ее доступность для Python.

• Синтаксические ошибки SAS: Внимательно проверяйте синтаксис SAS-кода. Используйте proc print; run; для отладки промежуточных результатов.

Оптимизация рабочего процесса и советы по повышению эффективности

• Эффективное управление сессиями: Всегда закрывайте SAS-сессии с помощью sas.endsas() после завершения работы, чтобы освободить ресурсы сервера.

• Оптимизация передачи данных: Для больших объемов данных используйте методы sas.df2sd() и sas.sd2df() для эффективного обмена между Python DataFrame и SAS Dataset.

• Модульность кода: Разделяйте сложные SAS-программы на более мелкие, управляемые блоки. Это упрощает отладку и повторное использование кода.

Устранение типичных ошибок при установке, настройке и выполнении кода SAS

При возникновении проблем, описанных ранее, важно систематически подходить к их устранению. Вот несколько ключевых шагов:

• Ошибки установки/настройки: Убедитесь, что все необходимые переменные среды, такие как PATH и JAVA_HOME, корректно настроены. Для SASPy тщательно проверьте файл sascfg_personal.py на предмет верных путей к исполняемым файлам SAS и параметрам подключения. Если ядро SAS не отображается в Jupyter, попробуйте переустановить его, используя команду python -m sas_kernel.install.

• Проблемы с подключением: Убедитесь, что SAS-сервер, к которому вы пытаетесь подключиться, запущен и доступен по сети. Проверьте настройки брандмауэра, которые могут блокировать соединение.

• Ошибки выполнения кода SAS: Внимательно изучайте логи SAS, которые выводятся в ячейке Jupyter или доступны через объект сессии SASPy (например, sas_session.saslog()). Они содержат детальную информацию о синтаксических ошибках, проблемах с доступом к данным или неверных путях к файлам.

Оптимизация рабочего процесса и советы по повышению эффективности

После успешного устранения возможных проблем, сосредоточимся на повышении эффективности. Для оптимизации рабочего процесса и максимального использования преимуществ интеграции SAS и Jupyter Notebook, рассмотрите следующие рекомендации:

• Эффективная передача данных: Активно используйте методы saspy.dataframe() и saspy.sd2df() для быстрого обмена данными между Python и SAS, минимизируя операции ввода-вывода.

• Модульность кода: Разделяйте код SAS на логические блоки в отдельных ячейках Jupyter. Это улучшает читаемость, упрощает отладку и позволяет выполнять части кода независимо.

• Управление сессиями: Всегда явно завершайте SAS-сессии с помощью sas.endsas() после выполнения задач, чтобы освободить ресурсы, особенно при работе с удаленными серверами.

• Выбор инструмента: Для коротких, одноразовых SAS-команд используйте магию %%SAS. Для более сложных сценариев, требующих взаимодействия с данными Python или управления сессиями, предпочтительнее saspy.

Заключение

Интеграция SAS и Jupyter Notebook открывает новые горизонты для аналитиков данных, предлагая мощное сочетание надежности SAS и интерактивности Jupyter. В этом руководстве мы подробно рассмотрели два основных подхода: использование ядра SAS для Jupyter и пакета SASPy. Вы узнали, как установить и настроить эти инструменты, выполнять код SAS, обмениваться данными между Python и SAS, а также использовать продвинутые возможности для оптимизации рабочего процесса.

Применение этих методов позволяет значительно повысить эффективность анализа данных, упростить совместную работу и создавать более динамичные и воспроизводимые отчеты. Мы надеемся, что представленные пошаговые инструкции и рекомендации помогут вам максимально раскрыть потенциал этой мощной комбинации. Продолжайте экспериментировать и адаптировать эти подходы к вашим уникальным задачам, чтобы достичь новых высот в аналитике данных.