Привет! Меня зовут Денис Макаров, я бэкенд-тимлид в KTS.

В прошлый раз мы сравнили Tarantool с Redis, а в этой статье решили провести тесты с Hazelcast. Исследование проводили с коллегой, нашим бэкенд-разработчиком и автором блога Линой Костян.

Денис Макаров

Бэкенд-тимлид

Лина Костян

Бэкенд-разработчик

Так же, как в прошлой статье, мы рассматриваем вариант Tarantool как замены: берём типичные кейсы работы с Hazelcast и реализуем такие же механики на Tarantool.

Выводы из нашего исследования можно прочесть в конце статьи.

Для тестирования брали Grafana K6 — инструмент для нагрузочного тестирования, который позволяет создавать и запускать тестовые сценарии на JavaScript и анализировать результаты тестирования. Он имеет широкий набор функций для создания тестовых сценариев и может работать с различными протоколами, такими как HTTP, WebSocket, gRPC и т.д. 

Grafana K6 можно использовать как в командной строке, так и в интерфейсе Grafana. Удобной особенностью K6 является возможность подключать сторонние расширения для работы с протоколами, которые изначально не поддерживаются К6. Так, из коробки К6 не умеет работать с Tarantool, поэтому мы использовали расширение xk6-tarantool.

Для работы с Hazelcast нам пришлось написать собственный плагин, ознакомиться с которым можно по ссылке. Для подключения необходимо пересобрать исполняемый файл К6 с использованием исходного кода нужных дополнений.

Примечание: все тесты были проведены на виртуалках, и это могло немного повлиять на производительность

За время тестирования мы рассмотрели 6 сценариев:

• Сценарий 1: key-value c операциями set/get/delete

  • Hazelcast

  • Tarantool

  • Сравнительные таблицы

  • Вывод

• Сценарий 2: счётчик c операциями incr/decr

  • Hazelcast

  • Tarantool

  • Сравнительные таблицы

  • Вывод

• Сценарий 3: работа со множествами

  • Hazelcast

  • Tarantool

  • Сравнительные таблицы

  • Вывод

• Сценарий 4: работа с диском

  • Hazelcast

  • Tarantool

  • Сравнительные таблицы

  • Вывод

• Сценарий 5: вторичные индексы

  • Hazelcast

  • Tarantool

  • Сравнительные таблицы

  • Вывод

• Сценарий 6: влияние репликации на производительность

  • Hazelcast master-slave

  • Tnt master-slave

  • Сравнительные таблицы

  • Вывод

• Общие выводы из сравнительного нагрузочного тестирования

• Совсем кратко

Сценарии 1-5 выполнялись на виртуальной машине со следующими характеристиками: Ubuntu, 4CPU, 16GB RAM, 30GB SSD.

Сценарий 6 выполнялся на двух виртуальных машинах Ubuntu, 4CPU 16GB RAM, 30GB SSD.

Все сценарии выполнялись с профилем нагрузки в 100 виртуальных пользователей, длительностью 120 секунд.

Сценарий 1: key-value c операциями set/get/delete

Используем SET/GET/DEL команды в Hazelcast и аналоги в Tarantool.

Hazelcast:
Дефолтная конфигурация

Tarantool:
Дефолтная конфигурация
Спейс с полями (key string, value string)

???? Hazelcast

import hazelcast from "k6/x/hazelcast";
import exec from "k6/execution";

export const options = {
    discardResponseBodies: true,
    scenarios: {
        test: {
            executor: "constant-vus",
            exec: "set_keys",
            vus: 100,
            duration: "120s",
        },
        test: {
            executor: "constant-vus",
            exec: "get_keys",
            vus: 100,
            duration: "120s",
        },
        test: {
            executor: "constant-vus",
            exec: " del_keys",
            vus: 100,
            duration: "120s",
        },
    },
};


const client = hazelcast.connect([“host:port”]);

const map = hazelcast.getMap(client, "test");

export function set_keys() {
    hazelcast.set(map, exec.vu.iterationInInstance + exec.vu.idInInstance * 100, exec.vu
        .iterationInInstance + exec.vu.idInInstance * 1000);
}
export function get_keys() {
    hzCast.get(map, exec.vu.iterationInInstance + exec.vu.idInInstance * 100);
}

export function del_keys() {
    hazelcast.del(map, exec.vu.iterationInInstance + exec.vu.idInInstance * 100);
}

Сценарии set_keys, get_keys, del_keys запускались последовательно. 

Результаты выполнения сценариев

Время выполнения запросов

Среднее RPS

???? Tarantool

import tarantool from "k6/x/tarantool";
import exec from 'k6/execution';

const conn = tarantool.connect(“host:port”);
export const options = {
    discardResponseBodies: true,
    scenarios: {
        set: {
            executor: 'constant-vus',
            exec: 'set',
            vus: 100,
            duration: '120s',
        },
        get: {
            executor: 'constant-vus',
            exec: 'get',
            vus: 100,
            duration: '120s',
        },
        del: {
            executor: 'constant-vus',
            exec: 'del',
            vus: 100,
            duration: '120s',
        },
    },
};

export function set() {
    tarantool.replace(conn, "test", [exec.vu.iterationInInstance + exec.vu.idInInstance * 100, (exec.vu.iterationInInstance + exec.vu.idInInstance * 100).toString()])
};
export function get() {
    tarantool.call(conn, "box.space.test:select", [exec.vu.iterationInInstance + exec.vu.idInInstance * 100])
};
export function del() {
    tarantool.call(conn, "box.space.test:delete", [exec.vu.iterationInInstance + exec.vu.idInInstance * 100])

};

Сценарии set_keys, get_keys, del_keys запускались последовательно. 

Результаты выполнения сценариев

Время выполнения запросов

Среднее RPS

Сравнительная  таблица по RPS

Сравнительная таблица по медиане и перцентилям времени выполнения запросов

Вывод

Tarantool производительнее на несколько тысяч rps в операциях записи, чтения и удаления.

Сценарий 2. Счётчик

Используем Increment и Decrement операции в счетчике в Hazelcast и аналогичные update операции в Tarantool.

Сценарии incr и decr выполняются параллельно. 

Hazelcast:
Дефолтная конфигурация

Tarantool:
Дефолтная конфигурация
Создаём спейс с полями (key string, value integer)

???? Hazelcast

import hazelcast from "k6/x/hazelcast";
import exec from "k6/execution";

export const options = {
    discardResponseBodies: true,
    scenarios: {
        test_incr: {
            executor: 'constant-vus',
            exec: 'incr',
            vus: 100,
            duration: '120s',
        },
        test_decr: {
            executor: 'constant-vus',
            exec: 'decr',
            vus: 100,
            duration: '120s',
        },
    },
};

const client = hazelcast.connect([“host:port”]);

export function incr() {
    hazelcast.incr(client,'aa'+exec.vu.idInInstance);
}
export function decr() {
    hazelcast.decr(client,'aa'+exec.vu.idInInstance);
}

Результаты выполнения сценариев

Время выполнения запросов

Среднее RPS

???? Tarantool

box.cfg{listen="127.0.0.1:3301"}
box.schema.space.create("test2")
box.space.test2:format({{name="name", type="string"}, {name="value", type="integer"}})
box.space.test2:create_index("primary", {parts={"name"}})

import tarantool from "k6/x/tarantool";
import exec from 'k6/execution';


const conn = tarantool.connect("host:port");
export const options = {
   discardResponseBodies: true,
   scenarios: {
       incr: {
           executor: 'constant-vus',
           exec: 'decr',
           vus: 100,
           duration: '120s',
       },
       decr: {
           executor: 'constant-vus',
           exec: 'decr',
           vus: 100,
           duration: '120s',
       },
   },
};
export function setup() {
   for (let i = 1; i < 101; i++) {
       tarantool.replace(conn, "test2", [i.toString(), 0]);
     }
  
 };
export function incr() {
   tarantool.call(conn, "box.space.test2:update", [exec.vu.idInInstance.toString(), [["+", 2, 1]]])
}
export function decr() {
   tarantool.call(conn, "box.space.test2:update", [exec.vu.idInInstance.toString(), [["-", 2, 1]]])
   }

Результаты выполнения сценариев

Время выполнения запросов

Среднее RPS

Сравнительная  таблица по RPS

Сравнительная таблица по медиане и перцентилям времени выполнения запросов

Вывод

Tarantool несколько производительнее и быстрее в операциях incr/decr.

Сценарий 3. Работа с множествами

Используем set и get для multimap... и реализовываем аналогичные возможности в Tarantool.

Hazelcast:
Дефолтная конфигурация

Tarantool:
Дефолтная конфигурация
Создаём спейс kv с полями (key string, element string)

???? Hazelcast

import hazelcast from "k6/x/hazelcast";
import exec from "k6/execution";

export const options = {
    discardResponseBodies: true,
    scenarios: {
        test: {
            executor: "constant-vus",
            exec: "set_keys",
            vus: 100,
            duration: "120s",
        },
    },
};


const client = hazelcast.connect([“host:port”]);

const map = hazelcast.getMultimap(client, "multi_test");

export function set_keys() {
    hazelcast.multimapSet(map, 'test'+exec.vu.idInInstance*1000, exec.vu.iterationInInstance + exec.vu.idInInstance * 100, exec.vu
        .iterationInInstance + exec.vu.idInInstance * 1000);
}
export function get_keys() {
    hazelcast.multimapMembers(map, exec.vu.iterationInInstance + exec.vu.idInInstance * 100);
}

Время выполнения запросов

Среднее RPS

???? Tarantool

box.cfg{listen="127.0.0.1:3301"}
box.schema.space.create("test3")
box.schema.sequence.create('S',{min=1, start=1})
box.space.test4:format({{name="id", type="unsigned"},{name="name", type="string"}, {name="value", type="string"}})
box.space.test4:create_index("primary", {sequence='S', parts={"id"}})
box.space.test4:create_index("name", {unique=false, parts={"name"}})

import tarantool from "k6/x/tarantool";
import exec from 'k6/execution';


const conn = tarantool.connect(“host:port”);
export const options = {
    discardResponseBodies: true,
    scenarios: {
        add: {
            executor: 'constant-vus',
            exec: 'add',
            vus: 100,
            duration: '120s',
        },
        members: {
            executor: 'constant-vus',
            exec: 'members',
            vus: 100,
            duration: '120s',
        },
    },
};


export function add() {
    tarantool.insert(conn, "test3", [null, (exec.vu.idInInstance*1000).toString(), (exec.vu.iterationInInstance + exec.vu.idInInstance * 100).toString()])
}
export function members() {
    tarantool.call(conn, "box.space.test3.index.name:select", [(exec.vu.idInInstance*1000).toString()])
}

Время выполнения запросов

Среднее RPS

Сравнительная  таблица по RPS

Сравнительная таблица по медиане и перцентилям времени выполнения запросов

Вывод

При работе с множествами Tarantool производительнее на несколько тысяч RPS для операций добавления и чтения.

Сценарий 4. Работа с диском

Используем команды Set/Get/… и реализовываем аналогичные возможности в Tarantool. 

Тестируем Сценарий 1, меняя конфигурацию БД. Цель теста — определить производительность работы с диском Hazelcast vs Tarantool.

Hazelcast:
Для тестов меняем параметр persistence enabled (false, true) и fsync (false, true)

Tarantool:
Создаём спейс kv с полями (key string, element string). Для тестов меняем параметр wal_mode (none, write, fsync)

???? Hazelcast

Результаты выполнения сценариев persistence: true, fsync: true

Время выполнения запросов

Среднее RPS

persistence: true, fsync: false

Время выполнения запросов

Среднее RPS

persistence: false, fsync: false

Время выполнения запросов

Среднее RPS

???? Tarantool, результаты выполнения сценариев

wal_mode Write

Время выполнения запросов

Среднее RPS

wal_mode: None

Время выполнения запросов

Среднее RPS

wal_mode: Fsync

Время выполнения запросов

Среднее RPS

Сравнительная  таблица по RPS

Сравнительная таблица по медиане и перцентилям времени выполнения запросов

Вывод

При любых конфигурациях использования диска Tarantool производительнее. В частности, даже в режиме полной персистентности Tarantool быстрее Hazelcast, работающего в режиме выключенного логирования (persistance: false).

Сценарий 5. Вторичные индексы

Kv в tarantool (id, value) со вторичным индексом на value.

В hazelcast со вторичным hash индексом на “this” .

???? Tarantool

box.cfg{listen="127.0.0.1:3301"}
box.schema.space.create("test5")
box.space.test6:format({{name="id", type="unsigned"}, {name="value", type="string"}})
box.space.test6:create_index("primary", {parts={"id"}})
box.space.test6:create_index("secondary", {parts={"value"}})

Результаты выполнения сценариев

Время выполнения запросов

Среднее RPS

???? Hazelcast

const map = hazelcast.getMap(client, "test");

hazelcast.addIndex(map,["this"], "value");

Результаты выполнения сценариев

Время выполнения запросов

Среднее RPS

Сравнительная  таблица по RPS

Сравнительная таблица по медиане и перцентилям времени выполнения запросов

Вывод

Оба приложения умеют работать со вторичными индексами «из коробки», однако Tarantool производительнее на несколько тысяч rps.

Сценарий 6. Влияние репликации на производительность

Тестируем сценарий 1, меняя конфигурацию репликации. Цель теста — определить влияние репликации на производительность БД.

Проводим 2 теста:

Сценарий 6.1 Hazelcast с master-master репликацией на 1 узел

Сценарий 6.2 Tarantool с master-slave репликацией на 1 узел

Сценарий 6.1 Hazelcast master-master

Результаты выполнения сценариев

Время выполнения запросов

Среднее RPS

Сценарий 6.2 Tnt-master-slave

Результаты выполнения сценариев

Время выполнения запросов

Среднее RPS

Сравнительная  таблица по RPS

Сравнительная таблица по медиане и перцентилям времени выполнения запросов

Вывод

Hazelcast при репликации master-master работает быстрее, чем Tarantool в режиме master-slave.

Общие выводы из нагрузочного тестирования

Hazelcast

Hazelcast — это приложение Java без внешних зависимостей. Он предлагает те же интерфейсы и API, что и хорошо известный пакет java.util. Это позволяет комфортно работать с Hazelcast из Java-приложения. В отличие от Tarantool, поддерживает выполнение в нескольких потоках, что позволяет проще масштабировать приложение, но при этом несёт риски повреждения данных.

Tarantool

Документация. В отличие от Hazelcast, где часто встречаются устаревшие инструкции, у Tarantool более наглядная документация с примерами для актуальной версии.

SQL. Оба поддерживает SQL, но Tarantool ближе к привычной табличной организации данных, потому что поддерживает реляционную модель.

Сценарии 1, 2, 3 чаще встречаются в повседневной работе.

Сценарий 4 — режим персистентности.
Персистентность нужна для восстановления данных. Это in-memory решения, и при случайном завершении работы можно потерять все данные. Чтобы такого не произошло, необходимо логирование записей. В Tarantool и Hazelcast существуют разные режимы персистентности. По результатам теста Tarantool быстрее в режиме полной персистентности, чем Hazelcast вообще без персистентности. Это видно по сценарию 4. 

Сценарий 5 — вторичные индексы Tatantool быстрее в режиме key-value и при использовании вторичных индексов.
Вторичные индексы часто используются при проектировании структуры базы данных. В случае Tarantool это позволяет производить поиск не только по ключам, но и по значениям. 

Пример: у нас имеется таблица вида «табельный номер — ФИО сотрудника», где табельный номер является ключом. 

• В Tarantool при создании вторичного индекса появляется возможность производить поиск не только по табельному номеру, но и по ФИО, что даёт возможность узнать табельный номер конкретного сотрудника

• В Hazelcast тоже есть такая возможность, но производительность уступает Tarantool

Итоги. Tarantool оказался производительнее на запись и чтение и удаление в первых 5 сценариях. Если требуется полноценное решение для кэширования или хранения данных и взаимодействия с ними, которое можно использовать в качестве основной БД, рекомендуем присмотреться к Tarantool. Он ближе к привычной табличной организации данных, потому что поддерживает реляционную модель и запросы на SQL.

Совсем кратко:

Если не нужна репликация — берите Tarantool.

Для сценариев с репликацией сейчас выигрывает Hazelcast, но разница небольшая при других плюсах Тарантула.