На очередной встрече jug.msk.ru, прошедшей 4 мая 2016 года в офисе компании КРОК, Виктор Гамов рассказал об In-Memory Data Grids вообще и о Hazelcast в частности. Подробности и фотографии со встречи далее.
О докладчике
Виктор является сооснователем (вместе с Алексеем Абашевым) и одним из ведущих популярного подкаста Разбор полётов. Активно участвует в Java-конференциях, часто в качестве докладчика. На jug.msk.ru Виктор выступает второй раз, про первое выступление в ноябре 2014 можно прочитать здесь.
Изменения, произошедшие c Виктором с прошлого выступления на jug.msk.ru:
Почти весь список видео с докладов Виктора здесь, файлы презентаций можно найти здесь. Из видео новых докладов наиболее интересными показались
На недавней конференции JPoint 2016, прошедшей в Москве, приняло участие большинство ведущих «Разбора полётов», почти все были на конференции докладчиками. Виктор открывал конференцию в обзорном докладе (keynote), рассказывал про распределённые кэши и JCache и принимал активное участие в записи живого выпуска подкаста в клубе StereoHall.
О докладе
Доклад был обзорным про организацию распределённых данных в памяти и распределённые вычисления. На примере Hazelcast показано практическое применение продукта из данной предметной области. Название доклада намекало на фильм Вуди Аллена 1972 года Everything You Always Wanted to Know About Sex But Were Afraid to Ask (Все, что вы хотели знать о сексе, но боялись спросить).
На встрече присутствовали и двое других ведущих «Разбора полётов» — Алексей Абашев и Кирилл Толкачёв. Кирилл как раз присутствует на снимке ниже (слева направо — Андрей Когунь, Виктор Гамов, Кирилл Толкачёв).
Первая часть была вводной в In-Memory Data Grids (IMDG). В перерыве и после доклада можно было пообщаться с Виктором и задать ему вопросы.
Во второй части показывалось использование Hazelcast, можно будет посмотреть только на видео, просто просмотр презентации не поможет. Также были примеры кода и ответы на вопросы. Из презентации удалось показать только две трети слайдов, поэтому оставшиеся можно пролистать самостоятельно.
Презентация доклада уже доступна здесь. С фотографиями и видео со встречи чуть позже можно будет ознакомиться в VK и G+. Есть возможность подписаться на рассылку следующих мероприятий jug.msk.ru
О докладчике
Виктор является сооснователем (вместе с Алексеем Абашевым) и одним из ведущих популярного подкаста Разбор полётов. Активно участвует в Java-конференциях, часто в качестве докладчика. На jug.msk.ru Виктор выступает второй раз, про первое выступление в ноябре 2014 можно прочитать здесь.
Изменения, произошедшие c Виктором с прошлого выступления на jug.msk.ru:
- перешёл работать в компанию Hazelcast;
- принял участие ещё в нескольких конференциях в качестве докладчика (DevNexus 2015, QCon New York 2015, DevNexus 2016, JPoint 2016);
- родился сын (можно предположить, самое важное событие).
Почти весь список видео с докладов Виктора здесь, файлы презентаций можно найти здесь. Из видео новых докладов наиболее интересными показались
- The Epic Groovy Puzzlers S02: The Revenge of the Parentheses (Groovy-паззлы вместе с Барухом Садогурским на SpringOne 2GX 2015);
- Ground-up Introduction To In-Memory Data (Grids) (DevNexus 2016);
- Viktor Gamov on In-Memory Data Grids (Stephen Chin интервьюирует Виктора на DevNexus 2016).
На недавней конференции JPoint 2016, прошедшей в Москве, приняло участие большинство ведущих «Разбора полётов», почти все были на конференции докладчиками. Виктор открывал конференцию в обзорном докладе (keynote), рассказывал про распределённые кэши и JCache и принимал активное участие в записи живого выпуска подкаста в клубе StereoHall.
О докладе
Доклад был обзорным про организацию распределённых данных в памяти и распределённые вычисления. На примере Hazelcast показано практическое применение продукта из данной предметной области. Название доклада намекало на фильм Вуди Аллена 1972 года Everything You Always Wanted to Know About Sex But Were Afraid to Ask (Все, что вы хотели знать о сексе, но боялись спросить).
На встрече присутствовали и двое других ведущих «Разбора полётов» — Алексей Абашев и Кирилл Толкачёв. Кирилл как раз присутствует на снимке ниже (слева направо — Андрей Когунь, Виктор Гамов, Кирилл Толкачёв).
Первая часть была вводной в In-Memory Data Grids (IMDG). В перерыве и после доклада можно было пообщаться с Виктором и задать ему вопросы.
Во второй части показывалось использование Hazelcast, можно будет посмотреть только на видео, просто просмотр презентации не поможет. Также были примеры кода и ответы на вопросы. Из презентации удалось показать только две трети слайдов, поэтому оставшиеся можно пролистать самостоятельно.
Презентация доклада уже доступна здесь. С фотографиями и видео со встречи чуть позже можно будет ознакомиться в VK и G+. Есть возможность подписаться на рассылку следующих мероприятий jug.msk.ru
Поделиться с друзьями
vaniaPooh
Может кому интересно, но MongoDB в качестве кластера локов и очередей работает и не разваливается при гораздо большей нагрузке, чем Hazelcast. И MongoDB гораздо устойчивее к падению датацентров по питанию и сети, чем Hazelcast. Это утверждение основано на реальной эксплуатации сервисов с InMemory гридами.
olegchir
На чем конкретно у вас падает Hazelcast, в чем проблема?
vaniaPooh
Кластер просто разваливается. Перестает принимать новые данные, ноды друг друга не видят, хотя сеть в порядке. Правда у нас RPS что-то в районе 1000. :)
olegchir
ну «просто развалиться» он не может, там должны закончиться какие-то ресурсы, что закончилось?
gAmUssA
можно кричать что «караул, разваливается», но без деталей я вам не смогу помочь. а детали как я понял NDA и все такое (кстати, нет проблем подписать ваш NDA и поглдеть что не так и почему «ноды друг друга не видят».
опять же, что значит «RPS 1000»? это количество рейквестов к вашему сервису или Hazelcast? какой размер объктов? сколько нод?
есть желание поговорить предметно — пишите в личку, с удовольствием поговорю.
gurinderu
gAmUssA Виктор, я держался, держался, но решил вкинуть. Чем вам проект лучше Apache Ignite?)
gAmUssA
Да пади мучались сидели! надо было выкрикнуть в лицо, за этим я и презжал. Теперь уже хз когда предстоит такая возможность.
Но для начала, дорогой gurinderu, определите для меня что вы вкладываете в понятие «лучше»?
Кол-во коммитов? Покрытие тестами? количество пользователей? активность community? количество багов? "быстрее"?
есть официальная информация у нас и у них
независимая информация GridGain (Ignite там не нашел), Hazelcast
Короче, это все гуглится очень хорошо.
Но от себя хочу добавить, не слушайте меня и не слушайте их.
А просто пойдите скачайте оба продукта, по крутите, поиграйтесь, посмотрите что «лучше» для вас.
тут выше писали, что кому-то и монга лучше.
А когда надоест, возвращайся назад ©
p.s. кстати если вы следили за развитием проекта ignite, то вы могли бы заметить различные организационные (переход из closed source в open source, модель коммерческой поддержки пользователей, и так далее) изменения, которые компания GridGain привнесла в проект.
Многие из этих изменений являются корневыми для Hazelcast многие годы. И уж если компания, которая конкурирует с нами, копирует, это означает, что мы все делаем правильно!
Спасибо
gurinderu
Принято, я хотел услышать основные коммерческие плюсы по сравнению с Apache Ignite
P.S По факту я конечно видел информацию выложенную и у вас, и у них.
gAmUssA
ignite — это OSS. коммерческое решение — GrigGain.
если в общем по функциям смотреть, они пишут что у них больше всего. Качество? Не могу комментировать
Нужно вам это или нет — решать вам.
Если что-то конкретное интересует в Hazelcast — пишите, с удовольствием отвечу!
Спасибо
m0nstermind
О, конкретно, монго можно почитать срыв покровов тут https://aphyr.com/posts/322-jepsen-mongodb-stale-reads
hazelcast, к сожалению, не исследовался с помощью jepsen, поэтому что либо утверждать на эту тему про него некорректно. Ну или я не нашел таких тестов.
gAmUssA
а какие тесты-то нужны? jepsen — не последняя инстанция
m0nstermind
ну последней инстанции тут быть не может в принципе. но тесты от Kyle Kingsbury (aphyr.com) пользуются определенным авторитетом.
gAmUssA
вы мне не ответили, какие нужны тесты?
m0nstermind
тесты на поведение системы, доступность, консистентность данных, линеаризуемость при network partition. небольшая вводная статья есть тут https://aphyr.com/posts/281-jepsen-on-the-perils-of-network-partitions
полный список что и как тестировать я врядли смогу составить, ибо тут нужно хорошее знание тестируемой системы.
23derevo
Это утверждение — демагогия. С тем же успехом я могу написать, что «хазик рвет монгу в 10 раз, утверждение основано на реальном опыте».
«Какие ваши доказательства?»
vaniaPooh
Да, конкретные данные дать не могу, т.к. NDA. Не хочется тут голословно утверждать, что лучше. Я лишь хотел сказать, что в нашей конкретной задаче аггрегирования больших объемов сообщений в реальном времени, MongoDB показывается себя лучше. Возможно, есть задачи, где Hazelcast выигрывает. Если вы посмотрите, где я работаю, то поймете, что у меня нет никакого интереса рекламировать или наоборот ни то, ни другое.
23derevo
нет проблем :)
просто тогда имеет смысл писать «мы тестировали так-то и получили то-то». А вышло, что вы обобщили.
gAmUssA
у меня был клиен у которого был обратный случай. отказались от монги из-за лимитов на индексы. и взяли Hazelcast. я соглашусь с 23derevo, все очень голословно звучит.
ZXSi
А какие вообще могут быть доказательства? Любой пример проекта — частный случай. Любые тесты — синтетика. Любое сравнение можно поставить под сомнение.
vaniaPooh
И кстати, чтобы никому не было обидно, в некоторых своих проектах я-таки использую Hazelcast и он там живет без проблем.
23derevo
Про частный случай — да, конечно. Тогда так и стоит писать: «в моем частном случае»… А не обобщать до «MongoDB в качестве кластера локов и очередей работает и не разваливается при гораздо большей нагрузке, чем Hazelcast.»
По поводу сравнений — зависит от целей тестирования. Не обязательно делать синтетику — у нас в Одноклассниках, например, используется A/B тестирование на продакшене: тестируемые сервисы подключаются асинхронно, данные замеров логгируются и сравниваются.