Зайдя на официальный сайт языка программирования Julia, можно увидеть утверждение: "Julia is fast!". Однако, новые пользователи на практике сталкиваются с проблемой медленной загрузки модулей, в особенности графических [1,2]. Диалектически, причиной медленного запуска является использование JIT компиляции, использование которой и обеспечивает высокую производительность языка. При желании, с особенностями JIT можно ознакомиться в других статьях. В данной статье пойдёт речь о более практической задаче — о том, как ускорить запуск модулей в Julia при помощи PackageCompiler.jl.


В данной статье используется julia v1.1.0. Кроме того, работа метода была проверена на julia v1.0.3.
Для оценки времени выполнения использовался тривиальный скрипт:


@time using Plots

x = 0:0.01:10000
y = @. sin(?*x)

@time plot(x,y) # Первый, медленный запуск
@time plot(x,y) # Второй, быстрый запуск

Запуская этот скрипт на стоковой julia, получены следующие значения:


  2.804964 seconds (5.03 M allocations:x 291.243 MiB, 5.35% gc time)
 13.546407 seconds (45.64 M allocations: 2.232 GiB, 9.00% gc time)
  0.013167 seconds (2.14 k allocations: 7.788 MiB)

Как видно, первое выполнение команды plot длится невероятные 14 с. Следующее за ним — уже 0,01 с.


Попробуем улучшить эти показатели. Для начала, установим модуль PackageCompiler:


import Pkg
Pkg.add("PackageCompiler")

Далее, протестируем сборку зависимости модуля Plots:


import Pkg
Pkg.add("Arpack")
Pkg.build("Arpack")

Если выполнение последней команды прервалось с ошибкой
ERROR: LoadError: LibraryProduct(...) is not satisfied, cannot generate deps.jl!
, то Вы стали жертвой Issue #5. Проблема связана с использованием внешних динамических библиотек и должна будет решиться после интеграции BinaryProvider. В качестве временного решения, по совету blegat, соберём библиотеку сами:


git clone https://github.com/opencollab/arpack-ng.git /tmp/arpack && cd /tmp/arpack
git checkout 3.5.0
bash bootstrap
./configure --enable-mpi --enable-shared
make
cp SRC/.libs/libarpack.so.2.0.0 ~/.julia/packages/Arpack/UiiMc/deps/usr/lib/

После выполнения данных манипуляций ошибка должна пропасть:


import Pkg
Pkg.build("Arpack")

Настало время компиляции пакета Plots:


import Pkg
Pkg.add("Plots")
using PackageCompiler
compile_package("Plots")

Компиляция длится достаточно долго с большим количеством текста в консоли. Обратите внимание на последнюю строку лога:


- Info: Not replacing system image.
L You can start julia with `julia -J /home/user/.julia/packages/PackageCompiler/oT98U/sysimg/sys.so` at a posix shell to load the compiled files.
"/home/user/.julia/packages/PackageCompiler/oT98U/sysimg/sys.so"

В ней указано расположение скомпилированного образа и подсказка, как его запустить.
Запустим тестовый скрипт с использованием этого образа:


julia -J /home/user/.julia/packages/PackageCompiler/oT98U/sysimg/sys.so /tmp/test.jl

  0.000251 seconds (501 allocations: 26.766 KiB)
  0.028105 seconds (22.55 k allocations: 8.847 MiB)
  0.017211 seconds (2.14 k allocations: 7.788 MiB, 18.16% gc time)

Таким образом, время первого запуска функции plot удалось снизить с 14 c до 0,03 с.


Данный метод можно использовать для экспорта образов нескольких библиотек, модификации системного образа и компиляции статических программ. Чтобы узнать подробнее о PackageCompiler.jl, обратитесь к описанию в репозитории проекта.

Комментарии (2)


  1. Sirikid
    09.05.2019 03:59

    Круто, обязательно соберу себе образ со всем необходимым. Насчет issue #5, почему Julia не пытается использовать системную библиотеку?


    1. bazooka_easter Автор
      09.05.2019 11:31

      Библиотека Arpack требует наличие библиотеки libarpack.so.2.0.0, а система (debian buster/sid) поставляет libarpack.so.2.1.0. Кроме того, как поясняет один из создателей языка Stefan Karpinski, эта и некоторые другие библиотеки требуют особой процедуры сборки для стабильной работы на суперкомпьютерах.


      Общую концепцию предполагаемого решения можно понять из описания к BinaryBuilder:


      We do not use system package managers.
      We do not provide multiple ways to install a dependency. It's download and unpack tarball, or nothing.
      All packages are cross compiled. If a package does not support cross compilation, fix the package.