Совсем недавно мы анонсировали новый инструмент оптимизации рабочего места для Data Scientist. Так как сейчас про него крайне мало написано, особенно на русском языке, мы решили выпустить для вас серию материалов, в которой расскажем о том, как его использовать. В этой части вы узнаете про установку и первый тестовый запуск на локальных ресурсах.
Передаю слово автору.
Сегодня я хотел бы немного рассказать о новом гибридном кроссплатформенном инструменте Azure Machine Learning Workbench, который находится в preview-статусе. Данный инструмент в комплекте с кроссплатформенной Visual Studio Code заполняет пробел между локальной работой с анализом данных и облачными сценариями.
Хотелось бы отметить, что под кроссплатформенным приложением мы будем понимать Windows и macOS. Думаю, со временем и выходом из статуса preview придет черед Linux. Начнем с небольшой визуальной диаграммы о возможностях инструмента.
Идея очень проста. У нас есть оболочка с набором инструментов для работы с данными и возможность запуска Python, Docker как локально, так и в облаке с помощью инструментария Azure CLI. Переходим к деталям.
Установка AzureML Workbench происходит по умолчанию в директорию C:\Users\User\AppData\Local\amlworkbench, где User — это имя пользователя компьютера. Кроме самого инструмента, происходит установка других компонентов, Python c библиотеками для машинного обучения, Azure CLI в эту директорию. Полный список устанавливаемых компонент приведен в разделе «Ресурсы» в виде URL ссылки.
Сразу отметим, что AzureML Workbench — часть облачного инструментария, и при отсутствии доступа к облаку или отсутствии учетной записи не будет работать. Ему необходима учетная запись в облаке в части Azure ML Experimentation Service. Для выполнения данной задачи сначала заводим обыкновенную пробную запись в облаке, а у кого она есть — можно пропустить этот шаг. Далее идем в раздел portal.azure.com и выбираем New\Data-Analytics\Machine learning Experimentation (preview).
Потом задаем параметры учетной записи, при этом особо обратите внимание на выбор плана подписки и количество мест (seat), равных 2 для бесплатного плана подписки. В ресурсах в конце статьи детальное руководство по созданию учетной записи. После этого можно запускать инструмент, но для полноценной работы рекомендуется установить Docker и Visual Studio Code с компонентами AI, Docker, Python.
После запуска выберем тестовый проект на основе шаблона Simple Linear Regression, укажем его местоположение, например, с:\temp\slr и откроем эту директорию в Visual Studuo Code с установленными компонентами (AI,Docker,Python). Мы видим набор файлов проекта Simple Linear Regression, включая файл данных и Python файл с алгоритмом, а также окружение, которое описывает среду запуска.
В одном случае среда запуска — установленный Python, в другом — более интересный случай — это docker контейнер на основе шаблона microsoft/mmlspark:plus-0.9.9.
Перед выполнением проекта в Docker контейнере посмотрим начальное состояние среды Docker и убедимся, что нет образов и контейнеров, связанных с AzureML Workbench.
После первого выполнения проекта на локальном Docker мы видим, что началось скачивание шаблона образа для Docker контейнера.
И после выполнения проекта появились образы для контейнеров, а также во время выполнения проекта работающий контейнер с Python.
Также обратим внимание на время исполнения проекта. Первый запуск был около 11 минут и включал закачку образа, второй — менее 2 минут, остальные — несколько секунд.
Для чистоты эксперимента сделаем несколько запусков на локально установленном Python, чтобы удостовериться, что все работает. Как мы можем увидеть ниже, результаты приблизительно совпадают в силу очевидно очень простого примера и маленького объема данных.
Также отметим наличие командной строки с преднастроенными переменными окружения.
Это позволяет запускать проекты из командной строки, которые тоже отображаются в истории.
На этой позитивной ноте закончим обзор локальной части инструмента. В следующей части будем рассматривать запуск проектов с облачных сервисов.
Михаил Комаров — занимается поддержкой существующих и реализацией новых систем, направленных на повышение эффективности работы в корпоративном сегменте. До работы в крупном корпоративном секторе работал тренером по информационным технологиям. Общий опыт работы в сфере ИТ составляет более 20 лет. Из интересов, виртуализация, инфраструктура, анализ данных и машинное обучение. MVP по Cloud and Data Center Management c 2011 года.
Цикл статей «Azure Machine Learning Workbench»
Статьи:
1. Azure ML Workbench: Начало работы.
2. Загрузка...
Передаю слово автору.
Введение
Сегодня я хотел бы немного рассказать о новом гибридном кроссплатформенном инструменте Azure Machine Learning Workbench, который находится в preview-статусе. Данный инструмент в комплекте с кроссплатформенной Visual Studio Code заполняет пробел между локальной работой с анализом данных и облачными сценариями.
Хотелось бы отметить, что под кроссплатформенным приложением мы будем понимать Windows и macOS. Думаю, со временем и выходом из статуса preview придет черед Linux. Начнем с небольшой визуальной диаграммы о возможностях инструмента.
Начнем
Идея очень проста. У нас есть оболочка с набором инструментов для работы с данными и возможность запуска Python, Docker как локально, так и в облаке с помощью инструментария Azure CLI. Переходим к деталям.
Установка AzureML Workbench происходит по умолчанию в директорию C:\Users\User\AppData\Local\amlworkbench, где User — это имя пользователя компьютера. Кроме самого инструмента, происходит установка других компонентов, Python c библиотеками для машинного обучения, Azure CLI в эту директорию. Полный список устанавливаемых компонент приведен в разделе «Ресурсы» в виде URL ссылки.
Сразу отметим, что AzureML Workbench — часть облачного инструментария, и при отсутствии доступа к облаку или отсутствии учетной записи не будет работать. Ему необходима учетная запись в облаке в части Azure ML Experimentation Service. Для выполнения данной задачи сначала заводим обыкновенную пробную запись в облаке, а у кого она есть — можно пропустить этот шаг. Далее идем в раздел portal.azure.com и выбираем New\Data-Analytics\Machine learning Experimentation (preview).
Потом задаем параметры учетной записи, при этом особо обратите внимание на выбор плана подписки и количество мест (seat), равных 2 для бесплатного плана подписки. В ресурсах в конце статьи детальное руководство по созданию учетной записи. После этого можно запускать инструмент, но для полноценной работы рекомендуется установить Docker и Visual Studio Code с компонентами AI, Docker, Python.
После запуска выберем тестовый проект на основе шаблона Simple Linear Regression, укажем его местоположение, например, с:\temp\slr и откроем эту директорию в Visual Studuo Code с установленными компонентами (AI,Docker,Python). Мы видим набор файлов проекта Simple Linear Regression, включая файл данных и Python файл с алгоритмом, а также окружение, которое описывает среду запуска.
В одном случае среда запуска — установленный Python, в другом — более интересный случай — это docker контейнер на основе шаблона microsoft/mmlspark:plus-0.9.9.
Перед выполнением проекта в Docker контейнере посмотрим начальное состояние среды Docker и убедимся, что нет образов и контейнеров, связанных с AzureML Workbench.
После первого выполнения проекта на локальном Docker мы видим, что началось скачивание шаблона образа для Docker контейнера.
И после выполнения проекта появились образы для контейнеров, а также во время выполнения проекта работающий контейнер с Python.
Также обратим внимание на время исполнения проекта. Первый запуск был около 11 минут и включал закачку образа, второй — менее 2 минут, остальные — несколько секунд.
Для чистоты эксперимента сделаем несколько запусков на локально установленном Python, чтобы удостовериться, что все работает. Как мы можем увидеть ниже, результаты приблизительно совпадают в силу очевидно очень простого примера и маленького объема данных.
Также отметим наличие командной строки с преднастроенными переменными окружения.
Это позволяет запускать проекты из командной строки, которые тоже отображаются в истории.
Заключение, но не конец
На этой позитивной ноте закончим обзор локальной части инструмента. В следующей части будем рассматривать запуск проектов с облачных сервисов.
Ресурсы
- Список устанавливаемых компонент AzureML Workbench
- Создание бесплатной учетной записи Azure
- Руководство по настройке учетной записи для AzureML Workbench и ссылки на дистрибутив.
- Visual Studio Code
- Docker
- Платформа цифрового бизнеса (Azure Machine Learning от ноутбука до «облака»)
- Сертификация по Azure
Автор
Михаил Комаров — занимается поддержкой существующих и реализацией новых систем, направленных на повышение эффективности работы в корпоративном сегменте. До работы в крупном корпоративном секторе работал тренером по информационным технологиям. Общий опыт работы в сфере ИТ составляет более 20 лет. Из интересов, виртуализация, инфраструктура, анализ данных и машинное обучение. MVP по Cloud and Data Center Management c 2011 года.