В продолжении статьи «Quadstor — виртуальный SAN для бюджетников» как и обещал, сравнительные тесты скорости VSAN Quadstor HA и VSAN Starwind HA. А так же тест надежности Quadstor HA с имитацией отключения одного из нодов HA.
Для проверки сравнительных тестов скорости VSAN Quadstor и Starwind, были созданы 5 виртуальных машин на основе одного железного хоста с VMware ESXi 6.5. Виртуальные машины по тех. характеристикам полностью одинаковы (братья близнецы) (2хCPU, RAM-3Gb, 2x1Gb LAN,).
Как видно на рисунке (выше): две ВМ (виртуальные машины) под Windows Server 2008 R2 с StarWind 6 (какой был), две ВМ под Linux CentOS 7.3 с Quadstor 3.2.11, и одна ВМ под Windows Server 2008 R2 для тестов. Затем парам ВМ Quadstor выделил по 50Гб диска (не считая диск для ОС) и объединил в Quadstor НА, так же и с парами ВМ StarWind выделил по 50Гб диска (не считая диск для ОС) и объединил в Starwind HA.
Далее созданные пулы дисков с Quadstor НА и Starwind HA по iSCSI подключил к хосту VMware ESXi (рисунок ниже).
datastore1 и datastore2 — это локальные диски хоста VMware ESXi, а quadstor и starwind — это диски по iSCSI. Получается, локальный диск datastore2 хоста VMware ESXi через виртуальные машины опять по iSCSI выделяю хосту (типа сам в себя).
Такое решение удобно, когда например есть только два мощных сервера и больше ничего, а необходимо создать отказоустойчивый кластер типа VMware HA или Hyper-V HA или Windows Server Claster и др. Тогда на двух серверах выделяем по виртуальной машине, выдаем все дисковое пространство серверов (кроме диска с ОС) этим ВМ, объеденяем в HA и с виртуальных машин отдаем по iSCSI двум серверам. Сервера этот диск по iSCSI понимют как отдельное дисковое хранилище, и на основе этого можно строить кластер HA с помощью двух серверов.
Возращаемся к нашим «баранам». К ВМ «VM_TEST» подключаю 4 диска (рисунок ниже).
Hard disk 1 и Hard disk 4 — это локальный диск хоста (datastore2), Hard disk 2 — диск от Quadstor НА, Hard disk 3 — диск Starwind HA.
Тесты проходили в два этапа:
Синтетический тест.
Как и говолилось выше, к ВМ «VM_TEST» поключено 4 диска (рисунок ниже).
Тесты на Crystal Disk Mark запускались к каждому диску в двух режимах, при 100Мб данных и при 2Гб данных.
Тест диска С: (Локальный, системный диск) (рис. ниже)
Тест диска E: (диск Quadstor) (рис. ниже)
Тест диска F: (диск Starwind) (рис. ниже)
Тест диска G: (Локальный диск) (рис. ниже)
Вот такие тесты, коментарии излишне, кто знает тот все поймет. Единственно добавлю, как то странно что диск С: и диск G: отличаются, хотя это один и тот же локальный диск.
Тест обычным копированием.
Этот тест немного интересней будет. Я написал небольшой bat файл, который копирует один большой файл размером 7,71Гб и много маленьких файлов (около 10000 файлов) с общим размером 1,94Гб.
Пример bat-файла:
Как видно bat файл простой, с помощью обычных команд, копируется iso файл и вся папка C:\Windows\System32 и записывается в log-файл (ниже).
==================================
«Тест проверки диска» «QuadStor»
==================================
«Копирование большого файла (размер — 7,71Gb)»
—
Start 22.03.2017- 8:26:24,32
End 22.03.2017- 8:31:43,79
—
«Копирование много маленьких файлов (размер — 1,94Gb)»
—
Start 22.03.2017- 8:31:43,79
End 22.03.2017- 8:32:55,69
—
==================================
«Тест проверки диска» «Starwind»
==================================
«Копирование большого файла (размер — 7,71Gb)»
—
Start 22.03.2017- 8:32:55,72
End 22.03.2017- 8:37:32,90
—
«Копирование много маленьких файлов (размер — 1,94Gb)»
—
Start 22.03.2017- 8:37:32,92
End 22.03.2017- 8:38:36,80
—
==================================
«Тест проверки диска» «Local»
==================================
«Копирование большого файла (размер — 7,71Gb)»
—
Start 22.03.2017- 8:38:36,82
End 22.03.2017- 8:42:37,31
—
«Копирование много маленьких файлов (размер — 1,94Gb)»
—
Start 22.03.2017- 8:42:37,31
End 22.03.2017- 8:43:32,50
—
Теперь немного разберем этот лог-фаил.
Тест диска QuadStor (E:)
Копирование большого файла размером 7.71Гб, заняло — 5м. 22с. — это примерно 25 Мб/с
Копирование маленьких файлов общим размером 1.94Гб, заняло — 1м. 12с. — это примерно 27 Мб/с
Тест диска Starwind (F:)
Копирование большого файла размером 7.71Гб, заняло — 4м. 27с. — это примерно 29 Мб/с
Копирование маленьких файлов общим размером 1.94Гб, заняло — 1м. 4с. — это примерно 31 Мб/с
Тест локального диска (G:)
Копирование большого файла размером 7.71Гб, заняло — 4м. 01с. — это примерно 33 Мб/с
Копирование маленьких файлов общим размером 1.94Гб, заняло — 55с. — это примерно 36 Мб/с
Ниже скриншоты нагрузки на ОС Linux (QuadStor) и OC Windows (Starwind) во время копирования файлов.
В общем, выводы вы можете сделать сами.
Единственно хочу привести некоторые примеры:
Стандартный настольный, домашний или рабочий ПК, скорость копирования файлов, в среднем 20-25 Мб/с. Сервер HP Proliant 380 G8, 2 диска (HDD SAS 300Gb 10k) RAID1 — скорость копирования файлов, в среднем 80-100 Мб/с.
Проверка надежности заключалась в аварийном отключении одного из нодов Quadstor НА при записи файлов. Включаем копирование.
И отключаем один из нодов.
И на самом деле, практически ничего не изменяется. При копировании файла, когда отключаешь один из нодов, копирование «зависает» на 1-2сек. и продолжает дальше. А нагрузка на рабочий нод немного увеличивается.
При возобновлении работы отключенного нода, происходит синхронизация.
Синхронизация длилась 1-2мин.
Далее решил проверить, если отключить сеть синхронизации. Тут немного сложнее. Так как два нода друг друга не видят, они стали оба «Master». Но эта ситуация решилась просто. Я отключил нод который был когда-то «Slave», подключил сеть и запустил нод. Нод понял что «Master» уже есть и становится «Slave» и происходит синхронизация.
Вот и все.
Производительность
Для проверки сравнительных тестов скорости VSAN Quadstor и Starwind, были созданы 5 виртуальных машин на основе одного железного хоста с VMware ESXi 6.5. Виртуальные машины по тех. характеристикам полностью одинаковы (братья близнецы) (2хCPU, RAM-3Gb, 2x1Gb LAN,).
Как видно на рисунке (выше): две ВМ (виртуальные машины) под Windows Server 2008 R2 с StarWind 6 (какой был), две ВМ под Linux CentOS 7.3 с Quadstor 3.2.11, и одна ВМ под Windows Server 2008 R2 для тестов. Затем парам ВМ Quadstor выделил по 50Гб диска (не считая диск для ОС) и объединил в Quadstor НА, так же и с парами ВМ StarWind выделил по 50Гб диска (не считая диск для ОС) и объединил в Starwind HA.
Далее созданные пулы дисков с Quadstor НА и Starwind HA по iSCSI подключил к хосту VMware ESXi (рисунок ниже).
datastore1 и datastore2 — это локальные диски хоста VMware ESXi, а quadstor и starwind — это диски по iSCSI. Получается, локальный диск datastore2 хоста VMware ESXi через виртуальные машины опять по iSCSI выделяю хосту (типа сам в себя).
Такое решение удобно, когда например есть только два мощных сервера и больше ничего, а необходимо создать отказоустойчивый кластер типа VMware HA или Hyper-V HA или Windows Server Claster и др. Тогда на двух серверах выделяем по виртуальной машине, выдаем все дисковое пространство серверов (кроме диска с ОС) этим ВМ, объеденяем в HA и с виртуальных машин отдаем по iSCSI двум серверам. Сервера этот диск по iSCSI понимют как отдельное дисковое хранилище, и на основе этого можно строить кластер HA с помощью двух серверов.
Возращаемся к нашим «баранам». К ВМ «VM_TEST» подключаю 4 диска (рисунок ниже).
Hard disk 1 и Hard disk 4 — это локальный диск хоста (datastore2), Hard disk 2 — диск от Quadstor НА, Hard disk 3 — диск Starwind HA.
Тесты проходили в два этапа:
- Синтетический тест с помощью Crystal Disk Mark v5.2
- Тест обычным копированием большых и малениких файлов.
Синтетический тест.
Как и говолилось выше, к ВМ «VM_TEST» поключено 4 диска (рисунок ниже).
Тесты на Crystal Disk Mark запускались к каждому диску в двух режимах, при 100Мб данных и при 2Гб данных.
Тест диска С: (Локальный, системный диск) (рис. ниже)
Тест диска E: (диск Quadstor) (рис. ниже)
Тест диска F: (диск Starwind) (рис. ниже)
Тест диска G: (Локальный диск) (рис. ниже)
Вот такие тесты, коментарии излишне, кто знает тот все поймет. Единственно добавлю, как то странно что диск С: и диск G: отличаются, хотя это один и тот же локальный диск.
Тест обычным копированием.
Этот тест немного интересней будет. Я написал небольшой bat файл, который копирует один большой файл размером 7,71Гб и много маленьких файлов (около 10000 файлов) с общим размером 1,94Гб.
Пример bat-файла:
@echo off
set NAME=%1
set DISK=%2
set LOG=log_%date%.txt
echo ================================== >>%LOG%
echo "Тест проверки диска" %NAME% >>%LOG%
echo ================================== >>%LOG%
echo "Копирование большого файла (размер - 7,71Gb)" >>%LOG%
echo ---------------------------------- >>%LOG%
echo Start %date%-%time% >>%LOG%
copy /Y CentOS-7-x86_64-Everything-1611.iso %DISK%\CentOS-7-x86_64-Everything-1611.iso
echo End %date%-%time% >>%LOG%
echo ---------------------------------- >>%LOG%
echo "Копирование много маленьких файлов (размер - 1,94Gb)" >>%LOG%
echo ---------------------------------- >>%LOG%
echo Start %date%-%time% >>%LOG%
xcopy /Y /E C:\Windows\System32 %DISK%
echo End %date%-%time% >>%LOG%
echo ---------------------------------- >>%LOG%
Как видно bat файл простой, с помощью обычных команд, копируется iso файл и вся папка C:\Windows\System32 и записывается в log-файл (ниже).
==================================
«Тест проверки диска» «QuadStor»
==================================
«Копирование большого файла (размер — 7,71Gb)»
—
Start 22.03.2017- 8:26:24,32
End 22.03.2017- 8:31:43,79
—
«Копирование много маленьких файлов (размер — 1,94Gb)»
—
Start 22.03.2017- 8:31:43,79
End 22.03.2017- 8:32:55,69
—
==================================
«Тест проверки диска» «Starwind»
==================================
«Копирование большого файла (размер — 7,71Gb)»
—
Start 22.03.2017- 8:32:55,72
End 22.03.2017- 8:37:32,90
—
«Копирование много маленьких файлов (размер — 1,94Gb)»
—
Start 22.03.2017- 8:37:32,92
End 22.03.2017- 8:38:36,80
—
==================================
«Тест проверки диска» «Local»
==================================
«Копирование большого файла (размер — 7,71Gb)»
—
Start 22.03.2017- 8:38:36,82
End 22.03.2017- 8:42:37,31
—
«Копирование много маленьких файлов (размер — 1,94Gb)»
—
Start 22.03.2017- 8:42:37,31
End 22.03.2017- 8:43:32,50
—
Теперь немного разберем этот лог-фаил.
Тест диска QuadStor (E:)
Копирование большого файла размером 7.71Гб, заняло — 5м. 22с. — это примерно 25 Мб/с
Копирование маленьких файлов общим размером 1.94Гб, заняло — 1м. 12с. — это примерно 27 Мб/с
Тест диска Starwind (F:)
Копирование большого файла размером 7.71Гб, заняло — 4м. 27с. — это примерно 29 Мб/с
Копирование маленьких файлов общим размером 1.94Гб, заняло — 1м. 4с. — это примерно 31 Мб/с
Тест локального диска (G:)
Копирование большого файла размером 7.71Гб, заняло — 4м. 01с. — это примерно 33 Мб/с
Копирование маленьких файлов общим размером 1.94Гб, заняло — 55с. — это примерно 36 Мб/с
Ниже скриншоты нагрузки на ОС Linux (QuadStor) и OC Windows (Starwind) во время копирования файлов.
В общем, выводы вы можете сделать сами.
Единственно хочу привести некоторые примеры:
Стандартный настольный, домашний или рабочий ПК, скорость копирования файлов, в среднем 20-25 Мб/с. Сервер HP Proliant 380 G8, 2 диска (HDD SAS 300Gb 10k) RAID1 — скорость копирования файлов, в среднем 80-100 Мб/с.
Надежность.
Проверка надежности заключалась в аварийном отключении одного из нодов Quadstor НА при записи файлов. Включаем копирование.
И отключаем один из нодов.
И на самом деле, практически ничего не изменяется. При копировании файла, когда отключаешь один из нодов, копирование «зависает» на 1-2сек. и продолжает дальше. А нагрузка на рабочий нод немного увеличивается.
При возобновлении работы отключенного нода, происходит синхронизация.
Синхронизация длилась 1-2мин.
Далее решил проверить, если отключить сеть синхронизации. Тут немного сложнее. Так как два нода друг друга не видят, они стали оба «Master». Но эта ситуация решилась просто. Я отключил нод который был когда-то «Slave», подключил сеть и запустил нод. Нод понял что «Master» уже есть и становится «Slave» и происходит синхронизация.
Вот и все.
Поделиться с друзьями
neumeika
Кто знает, тот будет требовать iometer/fio, повторяемости, и не тесты с одного/двух дисков одной хостовой системы, к тому же без фактических выводов.
yahonts
Да. iometer/fio — рулят, надо их. Вы пишете хорошо, но скрины вашей програмули малопонятны. Нужно сравнения по IOPS на 4К full random отдельно на read и на write. И сравнение 100% sequential отдельно на read и на write большими блоками (1М, например).
И я не понял, хостов в стенде сколько?
kravit
На самом деле, я не пытался показать производительность Quadstor (iometer/fio, IOPS и др.). Я хотел донести до читателя обычные сравнительные тесты между одним из лидеров в VSAN — Starwind и Quadstor — который хоть как то стал стабильно работать. Как для меня всякие IOPS и др. — это не совсем показатель, да и разбираться в IOPS, не очень. Для меня важно реальная скорость записи больших и маленьких файлов, что я и пытался показать, что Quadstor не сильно уступает Starwind. Ну а если нужны IOPS, то пусть каждый сам себе сделает стенд и проверит. Тем более если будет заинтересован в Quadstor.
Хостов один, на нем 5 виртуальных машин.