SEMrush выделяется в ряду спонсоров Joker сразу по нескольким причинам. Во-первых, направлением деятельности: компания разрабатывает платформу для маркетологов. Во-вторых, при участии компании в Java-конференции её CTO Олег Краснов известен любовью к C. В-третьих, для неё этот Joker станет первым.

Из-за всего этого только интереснее было расспросить и о том, как в компании обстоят дела с Java, и о подходе к разработке в целом, и об ожиданиях от конференции. Вот с кем мы пообщались:

• Елена Даниленко, HR generalist
• Олег Краснов, CTO
• Анатолий Чичиков, старший Java-разработчик

Елена Даниленко (HR generalist)

— SEMrush впервые становится спонсором Joker — чего компания ждёт от первого опыта?

— В нашей компании большинство рабочих вопросов решается личным общением. Поэтому одна из наших целей — познакомиться, рассказать о себе и пообщаться с Java-разработчиками на интересующие нас темы. Помимо этого, нам очень приятно иметь возможность поучаствовать в поддержке такого значимого события, как конференция Joker. Мы за то, чтобы было больше нетворкинга, хорошего и разного :)

— Порой IT-специалисты недолюбливают понятие «маркетинг» — их не отпугивает то, что вы делаете маркетинговую платформу?

— Отпугивает, скорей всего, не само понятие «маркетинг», а то, что не очень понятно, что именно стоит за этим словом. Но мы ведь не маркетинговая, а IT-компания. Сами мы занимаемся не маркетингом, а разработкой высокотехнологичной онлайн-платформы для людей, которые являются профессионалами в этой сфере или хотят понять своё положение на рынке.

И для нас важна не продуктовая сфера, из которой придёт к нам потенциальный коллега, а то, согласен ли он с нашим подходом к работе. Мы стараемся дать командам разработки максимум свободы в принятии решений — и нам хорошо работается с теми людьми, которые готовы полностью нести ответственность за свой продукт и за процесс его разработки, работая над улучшением качества и того, и другого. Мы стараемся максимально прояснять эту позицию при общении с кандидатами.

— У SEMrush офисы в четырёх странах, а где находятся разработчики (в первую очередь интересует Java)?

— Разработка у нас ведётся в СПб, Праге (Чехия) и Лимассоле (Кипр). Больше всего Java-команд у нас в Санкт-Петербурге: сейчас их семь. На будущий год планируем увеличить это количество хотя бы вдвое. Также Java-девелоперы работают в нашем офисе в Лимассоле.

Олег Краснов (CTO)

— Когда CTO компании специализируется на C, у выбирающего место работы Java-разработчика может возникнуть опасение, что в такой компании он окажется на вспомогательных ролях. Что у вас с этим?

— Специфика SEMrush не в том или ином языке, а в следующем: мы считаем, что команда разработки — это самодостаточный развивающийся организм. И команда может сама выбирать, что ей использовать — включая язык разработки.

Это добавляет свободы, это добавляет ответственности, но и делает процесс управления ситуацией более сложным делом. Управление из сбора отчётов и использования «кнута» превращается в убеждение и мотивацию. Общение равных — это мне по душе.

Добавлю, что отношение к Java у нас как к хорошему языку программирования с большим комьюнити и развивающейся экосистемой. Проекты, написанные на Java, у нас прекрасно существуют и развиваются, что вселяет в нас уверенность в том, что мы хотим, чтобы их количество росло.

— В 2014-м вы выступали с докладом «Когда стоит писать свою базу данных». И в связи с этим интересно: а какой в SEMrush подход к вопросу «брать готовое или делать собственное»?

Такой же, как и с выбором языка: ребята сами решают, какого пути придерживаться, делать что-то своё или использовать стандартное решение. Если же говорить исторически, то в ряде продуктов произошёл переход от стандартных решений к самописным, ведь, как известно, хорошо написанное частное решение работает лучше стандартного.

Если говорить про мой личный опыт, представленный в докладе, то на момент разработки не было ни стабильного работающего Hadoop, ни Mongo, так что я действовал по обстоятельствам :)

— В нашем недавнем материале про холивор Java vs C++ вы упоминали продукт с более чем 150 серверами, и хочется понять: а какой вообще у SEMrush масштаб? Какие ещё есть крупные продукты, сколько суммарно серверов?

— Давайте начнём с «железа». Сейчас у нас около 440 реальных серверов, а также порядка 250 виртуальных машин. Технологический стек разработки, если говорить о языках — от ANSI C до Node.js и, конечно же, Java.

Самые крупные наши проекты — это «Backlinks», «Domain & Phrase Analytics» и «Tracking». «Backlinks» — наиболее крупный и нагруженный из них, более 150 «машин», его смысл в построении базы обратных ссылок всех страниц интернета, эдакий собственный Google. «Domain & Phrase Analytics» — самый старый продукт компании, более 60 серверов, аналитика поисковой выдачи по более чем 30 локальным базам. «Tracking» — один из самых динамично развивающихся продуктов, 28 серверов, динамика позиций сайтов в поисковой выдаче.

Эти три продукта со стороны бэкенда написаны на C/C++, но успешных продуктов на Java у нас тоже хватает — таких, как «SEO Ideas» и «Site Audit», более подробно о них вы можете прочитать на нашем сайте.

Анатолий Чичиков (старший разработчик)

— Какие технологии/инструменты используются в случае с Java (и лично вами, и в SEMrush в целом)?

— Мы приветствуем всё, что облегчает поставку ценности пользователю при минимальных затратах времени. Также всегда стараемся идти в ногу со временем и использовать последние стабильные версии языков и библиотек.

Если говорить о проекте, к которому причастен я, то из Java-фреймворков это, конечно же, Spring (Boot, Web, Data, AMQP). Для анализа текстов используем Lucene. В повседневности широко используем Lombok, Guava и стримы Java 8. Что касается внешних средств хранения данных, то это MongoDB, Redis и RabbitMQ.

В других Java-командах технологии могут варьироваться в зависимости от задач, но зачастую ядро — это Spring и Java 8. Кто-то хранит большие объёмы информации в HDFS и использует Hadoop для обработки. Кому-то важны сложные запросы и транзакции — их выбор PostgreSQL. Есть команды, которые за компромиссы между скоростью вставки и сложностью запросов — используют, как и мы, MongoDB.

Сборка и деплой — Maven, Gradle, Fabric, Ansible. Многие команды используют Docker в продакшене.

Инструменты — Intellij IDEA, TeamCity, YouTrack, GitLab. Из интересного: наша команда достаточно успешно использует XRebel. А на уровне компании сейчас внедряем межкомандное код ревью, пробуем Upsource.

— Есть ли какая-либо недавняя масштабная задача, о которой хотелось бы рассказать?

— Думаю такой масштабной задачей я могу назвать «SEO Ideas»: проект, который начала и пишет уже чуть больше года наша команда. Его цель — превратить кучу непонятных рядовому маркетологу метрик и данных по конкурентам в конкретные рекомендации к действию. Люди любят простоту, поэтому пока стабильно растём.

Это распределённая система потоковой обработки данных. Там есть concurrency, задачи по обработке текстов, работа с внешними API и балансировка нагрузки на них. Серверная бизнес логика полностью на Java, клиентская часть написана на JavaScript. На мой взгляд Java как язык и как платформа уверенно держит удар новых хайповых технологий (NodeJS, Go и т.д.) как по производительности, так и по удобству использования. Соблазна или потребности сменить её у нас не возникало.

— В SEMrush многое сделано на C/C++ — а у вас как Java-разработчика не возникает ощущения «с Java было бы лучше»? :)

— Использование C/C++ — это необходимость в некоторых проектах, так как перед этими командами стоят очень требовательные к ресурсам задачи. Один из самых ярких примеров — составление графа ссылок и ранжирование доменов всего интернета. Использование Java нам бы дорого тут обошлось, и решение использовать C позволило высвободить побольше ресурсов для других, не менее нужных продуктов.

— Хорошо ли Java сочетается с подходом «самоорганизующихся команд»?

— Да, вполне. В нашем случае команда полностью берёт на себя ответственность за свои эксперименты и стабильность продукта, а тут Java и её зрелые библиотеки показывают себя с лучшей стороны: ноги себе простреливаем редко.

Также мы стараемся писать, насколько это возможно, простые и понятные плоские модули, предпочтение отдается горизонтальным связям и постоянной готовности к изменениям. И здесь нас Java тоже обычно не подводит: средства рефакторинга и разрешения зависимостей у нее отличные.

— C «разношёрстностью» команд, самостоятельно выбирающих языки и технологии, не возникают ли у вас сложности с interoperability?

— Нет, здесь никаких проблем. Весь SEMrush — это, по сути, набор микросервисов, и мы в качестве «lingua franca» между ними используем JSON и REST. В отдельных случаях, когда речь идет о большом объёме данных или запросов, возможны бинарные решения, но это скорее исключения, чем правила.

— У вас есть некоторый опыт в Groovy и Scala — а связан ли этот опыт с работой в SEMrush, и используют ли там в продакшене эти языки?

— Сам я в SEMrush практически не писал на этих языках. Но вообще в компании Groovy используется, пусть и менее активно, чем многое другое. Насколько я знаю, в основном его любят QA, они пишут красивые тесты на Spock. У меня самого к Groovy был интерес как к скриптовому языку. В целом он приятен и лаконичен, и я понимаю, за что его любят люди. Тем не менее, вышло так, что скрипты я пишу в основном на Python, и считаю его оптимальным инструментом, когда дело пахнет рутиной.

А Scala, насколько я знаю, у нас пока не прижилась. Сам я некоторое время назад вплотную изучал этот язык, и тоже не могу сказать, что мы с ним сошлись характерами. Язык непростой, требует много времени на изучение, и каждый программист пишет на нём очень по-разному. Просматривая GitHub на тему Scala, можно иногда почувствовать присутствие внеземного разума. На мой взгляд, в эпоху быстро меняющихся требований и однокнопочных интерфейсов это скорее минусы.

Сам я сейчас с интересом посматриваю на Kotlin, продолжая активно писать продукт на Java. Подкупает то, что язык прост, лаконичен, безопасен и делается прагматиками для прагматиков. В нашей компании такие инструменты любят. Не исключаю, что у нас появится проект на нём, если сформируется критическая масса желающих попробовать.

— Спасибо за ответы, будем ждать вас на Joker!