Решение задачи по составлению расписания турнира с разъездами (TTP) — один из вычислительных тестов в нашем наборе

Позавчера вышла Java 17 с кучей новых функций и усовершенствований. Большинство из них требуют изменения кода. Кроме производительности. Просто заменяете JDK — и получаете бесплатную прибавку производительности. Но насколько большую? Стоит ли она того? Для этого мы провели бенчмарки JDK 17, JDK 16 и JDK 11.

Тесты проводятся в сложных вычислительных задачах опенсорсного решателя проблем OptaPlanner, полностью написанного на Java.

Методология

• Конфигурация: Cтабильная машина без каких-то вычислительных процессов, процессор Intel Xeon Silver 4116 @ 2,1 ГГц (12 ядер / 24 потока) и 128 ГиБ RAM, под управлением RHEL 8 x86_64.
  
  
• JDK (для компиляции и запуска):
  
  
  • JDK 11
    
    

    openjdk 11.0.12 2021-07-20
    OpenJDK Runtime Environment Temurin-11.0.12+7 (build 11.0.12+7)
    OpenJDK 64-Bit Server VM Temurin-11.0.12+7 (build 11.0.12+7, mixed mode)

  • JDK 16
    
    

    openjdk 16.0.2 2021-07-20
    OpenJDK Runtime Environment (build 16.0.2+7-67)
    OpenJDK 64-Bit Server VM (build 16.0.2+7-67, mixed mode, sharing)

  • JDK 17 (загружено 2021-09-06)
    
    

    openjdk 17 2021-09-14
    OpenJDK Runtime Environment (build 17+35-2724)
    OpenJDK 64-Bit Server VM (build 17+35-2724, mixed mode, sharing)

  
  
• Опции JVM: -Xmx3840M и явное указание сборщика мусора:
  
  -XX:+UseG1GC для G1GC, сборщика мусора с низкой задержкой (по умолчанию во всех трёх JDK).
  
  -XX:+UseParallelGC для ParallelGC, сборщика мусора с высокой пропускной способностью.
  
  
• Основной класс: org.optaplanner.examples.app.GeneralOptaPlannerBenchmarkApp из модуля optaplanner-examples в OptaPlanner 8.10.0.Final.
  
  
  • Каждый проход решает 11 задач в OptaPlanner, таких как ротация сотрудников, составление школьного расписания и оптимизация облачных вычислений. Каждая задача выполняется 5 минут. Логирование установлено на INFO. Бенчмарк стартует с 30-секундного разогрева JVM, который не засчитывается в результаты.
    
    
    Решение задач по оптимизации облачных вычислений и составлению школьного расписания
    
  • Решение задач не требует ввода-вывода (за исключением нескольких миллисекунд для загрузки входных данных после запуска). Полностью загружен один CPU. Он постоянно создаёт множество короткоживущих объектов, а GC потом их собирает.
    
  • Все бенчмарки измеряют количество вычислений в секунду. Чем больше, тем лучше. Выведение оценки нетривиально: тест включает множество вычислений, в том числе взаимную проверку на конфликты между всеми объектами.
  
  
• Проходы: Каждая комбинация JDK и сборщика мусора запускается трижды. Приведённые результаты — среднее трёх проходов.

Результаты

Сравнение Java 11 (LTS), Java 16 и Java 17 (LTS)

Таблица 1. Количество вычислений в секунду с G1GC на разных JDK



Таблица 2. Количество вычислений в секунду с ParallelGC на разных JDK

Примечание. Если посмотреть на необработанные данные (они здесь не показаны), то задача переназначения машин (B1 и B10) в трёх прогонах демонстрирует очень разные результаты на одном и том же JDK и GC. Зачастую они отличаются более чем на 10%. В других задачах такой проблемы нет.

Возможно, лучше игнорировать бенчмарки по этой конкретной задаче. Но чтобы избежать обвинений в ручном подборе данных, они всё-таки включены в общую таблицу.

Сравнение G1GC и ParallelGC на Java 17

Таблица 3. Количество вычислений в секунду на JDK 17 с различными GC

Резюме

В среднем, для сценариев OptaPlanner эти тесты показывают:

Java 17 на 8,66% быстрее Java 11 и на 2,41% быстрее Java 16 для G1GC (дефолтный сборщик мусора).

Java 17 на 6,54% быстрее Java 11 и на 0,37% быстрее Java 16 с ParallelGC.

Parallel Garbage Collector на 16,39% быстрее, чем G1 Garbage Collector.

Здесь нет особых сюрпризов: последняя версия JDK быстрее, а сборщик мусора с высокой пропускной способностью быстрее, чем сборщик мусор с низкой задержкой.

Минуточку...

Когда мы замеряли JDK 15, то она оказалась на 11,24% быстрее, чем Java 11. Теперь же выигрыш меньше. Это значит, что Java 17 медленнее Java 15?

Ну, нет. Конечно, Java 17 быстрее, чем Java 15. Предыдущие бенчмарки выполнялись на другой кодовой базе (OptaPlanner 7.44 вместо 8.10), так что не будем сравнивать яблоки с апельсинами.

Заключение

В заключение следует отметить, что прирост производительности в JDK17 вполне оправдывает обновление — по крайней мере, для OptaPlanner.

Самым быстрым сборщиком мусора для нас остаётся ParallelGC, а не дефолтный G1GC.

---