Торстен Бейер — программист из QuantStack, в Open Source он работал над nifty и vigra на C++, а также над inferno, kipoi, ilastik — на Python. Делимся материалом о новом ядре Lua от Торстена Бейера из блога разработчиков Jupyter, пока у нас начинается флагманский курс Data Science.

Ключевой принцип дизайна Jupyter — языковая независимость, а одна из основных точек расширения экосистемы — ядро, то есть часть архитектуры, отвечающая за выполнение кода пользователя.

Ядро Jupyter — это просто исполняемый файл, реализующий чётко определённый протокол взаимодействия между процессами. Эталонная реализация ядра — ipykernel, ядро Python по умолчанию, также содержащая утилиты создания ядер других языков. Другая эталонная реализация — Xeus.

Xeus

Xeus — это библиотека C++ для написания ядер Jupyter. Это не ядро, а именно библиотека, которая упрощает процесс написания ядер. 

Xeus реализует протокол обмена сообщениями Jupyter, поэтому авторам ядра нужно реализовать только несколько методов, связанных с собственно интерпретатором, например, выполнение фрагментов кода и его автозавершение. 

Вот длинный список скриптовых языков, которые могут быть встроены в C/C++. С помощью Xeus очень легко писать ядра для этих языков, также Xeus уже использовался, чтобы написать ядра в списке ниже:

• xeus-cling — C++.

• xeus-python — Python.

• xeus-sql/xeus-sqlite — ядро для баз данных SQL / SQLite.

• xeus-robot для Robot Framework.

• LFortran — современный интерактивный компилятор Fortran с ядром Jupyter.

Библиотека xwidgets

Библиотека xwidget — это реализация протокола Jupyter Interactive Widget (протокола интерактивных виджетов) на C++. Виджеты разрабатывались для xeus-cling, ядра Xeus C++, но любое ядро на основе Xeus может повторно использовать его компоненты.

Ядро Lua на основе Xeus

Сегодня я рад объявить о релизе xeus-lua, нового ядра Jupyter для Lua на основе Xeus.

Lua

Lua в переводе с португальского — Луна. Это легкий, встраиваемый скриптовый язык, написанный на Си. 

Если Python — один из ведущих языков научных приложений, то Lua — ведущий скриптовый язык для игр и их движков.

Список использующих Lua видеоигр большой и включает игры категории AAA, такие как Crisys и Farcry. На Lua работает и Adobe Photoshop Lightroom.

Sol2

Хотя Lua довольно легко встроить в C++, это ещё проще, если воспользоваться Sol2. Более того, Sol2 можно использовать для представления классов C++ в коде Lua, подобно тому, как pybind11 — для представления классов C++ в Python.

Xeus-lua

При помощи Sol2 и Xeus было очень легко реализовать многофункциональное ядро на современном C++. Sol2 до тривиальности упростил представление классов xwidgets для Lua, чтобы можно было задействовать виджеты в блокнотах xeus-lua.

Но зачем ядро Lua?

Lua — возможно, не самый популярный язык в 2021 году, но есть несколько причин, по которым я решил реализовать такое ядро, и причин, почему оно полезно:

• Написать ядро Xeus — лучший способ изучить его, ознакомиться с экосистемой библиотеки. На Lua легко писать, а написанный код легко внедрить, поэтому Lua и Xeus подходят друг другу идеально. Благодаря реализации своего ядра я лучше понял Xeus и сам Jupyter.

• Изучение Lua с xeus-lua — это весело! До написания xeus-lua у меня не было опыта работы с Lua. В процессе я изучал Lua внутри Jupyter, играя с xwidgets в Lua.

• Реализация xeus-lua может служить справочником для других авторов ядер. В будущем полезна может быть интеграция xwidgets в xeus-lua.

• Программа на Lua собирается легко, поэтому xeus-lua можно собрать для WebAssembly и включить в JupyterLite — следите за блогом.

Особенности

Очевидно, xeus-lua поддерживает выполнение кода.

Стримы перенаправляются на вывод блокнотов:

Сообщения об ошибках отображаются в выводе:

Входные стримы перенаправляются в систему ввода:

Выражения могут дополняться автоматически по нажатию Tab:

Отображаются данные разных форматов: LaTeX, JSON, HTML.

Можно добавить интерактивные виджеты:

Можно предоставить виджетам данные:

Попробовать xeus-lua прямо сейчас можно с помощью binder, просто кликните по ссылке.

Другие ядра Lua

Вот ещё несколько реализаций ядер Lua:

• lupyter на основе Python. Тяжёлая работа выполняется в расширении Python на C++.

• ILua — многофункциональная реализация на Python, она связывается с Lua через IPC.

• IPyLua на чистом Lua.

Эти реализации обладают широкими возможностями, они хорошо работают, но ни одна не поддерживает интерактивные виджеты, а ядро xeus-lua основано на Xeus, поэтому с минимальными усилиями можно повторно использовать компоненты из экосистемы Xeus.

Поработать с Jupyter Notebook вы сможете на наших курсах:

• Профессия Data Scientist (24 месяца)

• Курс «Machine Learning и Deep Learning» (6 месяцев)

А чтобы узнать, как мы готовим специалистов в других направлениях, вы можете посмотреть каталог курсов, пока мы следим за развитием Jupyter и событиями в науке о данных.