Привет, Хабр!

Datalore Enterprise — это data science платформа для совместной работы с Jupyter-ноутбуками. Ее можно установить в частное облако или на приватный сервер компании.

Новая версия 2021.3 позволяет специалистам по анализу и обработке данных работать с базами данных и SQL-кодом внутри Jupyter-ноутбуков, а также легко делиться результатами работы с коллегами. Также мы интегрировали поддержку ноутбуков R и Scala, добавили новый реактивный режим, реализовали конструкторы графиков и множество других функций.

Читайте дальше, чтобы узнать о новых возможностях Datalore Enterprise 2021.3!

Если вы не знакомы с продуктом Datalore Enterprise, рекомендуем посмотреть короткий видеообзор платформы.

Подключение к БД из редактора и запуск нативного SQL-кода

Подключение к БД из ноутбуков

Новая версия Datalore Enterprise позволяет напрямую подключать Jupyter-ноутбуки к базам данных всего за нескольких кликов. Создав подключение, вы сможете просматривать схему таблиц и получать данные с помощью SQL-ячеек, при этом пароль подключения не будет передан в среду.

Datalore Enterprise поддерживает аутентификацию через user/password для баз данных Amazon Redshift, Azure SQL Database, MariaDB, MySQL, Oracle, PostgreSQL, Snowflake и др. Если у вас появятся вопросы по подключению к базам данных, вы всегда можете задать их нам.

SQL-ячейки 

Для выгрузки данных из базы данных можно использовать нативные SQL-ячейки. В них поддерживается подсветка синтаксиса и автодополнение кода на основе интроспекции таблиц базы данных. Результат запроса автоматически передается в pandas DataFrame, после чего вы сможете продолжить анализ данных с помощью Python.

Запросить 30-дневную пробную версию Datalore Enterprise для своей команды можно на нашем сайте.

Превращение Jupyter-ноутбуков в интерактивные отчеты

Чтобы наглядно представить результаты своей работы с данными, порой приходится сильно постараться. Просто делиться Jupyter-ноутбуком не всегда удобно, так как в нем бывает слишком много кода, в том числе для промежуточных этапов анализа. Сборка дашборда в Tableau занимает слишком много времени, а слайды Powerpoint требуют ручного обновления при любых изменениях результатов анализа.

Datalore Enterprise предлагает выход — публиковать интерактивные отчеты!

Публикация интерактивных отчетов

Теперь вы можете быстро превратить ноутбук в интерактивный отчет. Делиться интерактивными отчетами можно по ссылке. При этом вы можете скрыть ячейки кода, которые не нужны для презентации.

Каждый, кто получит ссылку на отчет, сможет также работать с ним — изменять элементы управления и запускать соответствующий ноутбук.

Хотите узнать больше о возможностях Datalore? Запланируйте демо с нашей командой.

Конструкторы графиков, раскрывающиеся списки и другие интерактивные элементы

Чтобы сделать ваши ноутбуки и отчеты более интерактивными, мы добавили новые типы ячеек:

• Вы можете добавлять в ноутбуки раскрывающиеся списки, слайдеры и текстовые поля, а также присваивать входные значения переменным.

  

• Вы можете легко создавать визуализации при помощи конструкторов графиков в ячейках диаграмм. При этом состояние ячеек обновится и у других пользователей, редактирующих ваш ноутбук, а значит, вы сможете работать над визуализацией вместе.

  

Настройка параметров видимости ячеек

Предоставляя доступ к ноутбукам или отчетам, вы можете скрыть определенные данные, чтобы не перегружать пользователя информацией. В новой версии Datalore можно скрыть любую ячейку, а также выборочные входные и выходные данные.

Создание R и Scala ноутбуков

Мы добавили поддержку языков R и Scala. Теперь для них можно пользоваться умным автодополнением. Для R также доступен менеджер пакетов conda.

Реактивный режим для воспроизводимых вычислений

В течение последних трех лет мы экспериментировали с решением проблемы воспроизводимости ноутбуков. Сегодня мы рады представить новый реактивный режим! 

При включении реактивного режима Datalore вычисляет ячейки кода сверху вниз, а при изменении ячейки автоматически пересчитывает все ячейки ниже. Подробнее о проблеме воспроизводимости кода и о новом реактивном режиме читайте здесь.

Другие улучшения

Скрипты инициализации

Помимо возможности настройки базовых сред и установки библиотек через менеджер пакетов, теперь вы можете добавлять специальные настройки в скрипт, который запускается перед стартом ноутбука. Внутри init.sh вы можете указать все инструменты сборки и зависимости, необходимые для вашего ноутбука.

Поддержка версий Python 3.6+

В Datalore Enterprise 2021.3 вы можете выбрать из множества версий Python (3.6 и более поздние) и пользоваться умными возможностями анализа-кода Datalore для любой из них. Достаточно предварительно настроить несколько базовых сред, и ваша команда сможет переключаться между различными версиями Python буквально в несколько кликов.

Новые графики на вкладке Visualize

Если результатом выполнения кода является pandas DataFrame, Datalore автоматически покажет полученные графики на вкладке Visualize. Мы добавили поддержку:

• Point plots

• Bar plots

• Area plots

• Correlation plots

Кроме того, теперь вы можете настроить цвет графика на основе определенных значений столбца.

Монтирование бакетов GCS

Помимо бакетов AWS S3, теперь вы также можете монтировать в ноутбук бакеты Google Cloud Storage. Для этого просто укажите имя бакета и содержимое файла аутентификации .json — смонтированный бакет отобразится в виде отдельной папки.

Информация о последнем запуске ячейки

Наведя указатель мыши на время выполнения ячейки, вы увидите полную дату последнего выполнения.

Сворачивание ячеек

Чтобы сосредоточиться на написании кода, теперь вы можете сворачивать любые входные и выходные данные.

Попробуйте бесплатно!

Вы можете попробовать Datalore Enterprise бесплатно в течение 30 дней. Чтобы запросить пробную версию или задать какие-либо вопросы, свяжитесь с нами или назначьте встречу с нашей командой. Все компании, которые пробуют Datalore Enterprise, могут общаться с нами через специальный канал в Slack или тред Zendesk.

Запросить пробную версию или забронировать демо можно на нашем сайте.

Чтобы оставаться в курсе новостей от Datalore, подпишитесь на наш блог и Twitter!

Ваша команда Datalore