В рамках корпоративного блога компании TS Solution мы начинаем серию обучающих статей про такой продукт для анализа машинных данных как Splunk. Большинство статей будут представлять собой «how to tutorial», описание интересных кейсов и решение популярных проблем.
В данной статье мы кратко расскажем о самой системе и её назначении, а также рассмотрим варианты по её установке.
Splunk это платформа для сбора, хранения, обработки и анализа машинных данных, то есть логов. На сегодняшний день является крайне популярной в США и в Европе и постепенно выходит на другие рынки, включая Россию. Одной из главных особенностей платформы является то, что она может работать с данными практически из любых источников, и поэтому список возможных применений системы очень широк.
Splunk, в большинстве случаев, (автоматически или с помощью аддонов) разбирает входные данные на поля и значения и в последствии обрабатывает их. Обработка происходит посредством SPL запросов (специальный язык от Splunk), с помощью которого можно строить различные выборки и таблицы, сортировать, фильтровать, агрегировать, строить отчеты, создавать вычисляемые поля, обращаться как к внутренним, так и внешним справочникам, создавать дашборды, с широким спектром визуализации и делать алерты (например по результату выполнения запроса отправлять тикеты в Service Desk). Все это можно упаковать в свое персональное приложение.
Бесплатная версия Splunk c ограничением на индексацию в 500 Мб в день доступна на официальном сайте компании, единственное что вам нужно сделать это пройти регистрацию.
Splunk поддерживает как 32-bit, так и 64-bit разрядную архитектуру. Ниже представлены таблицы с доступными платформами для Splunk отдельно для Unix и Microsoft. В последнем столбце таблицы находится информация о Splunk Universal Forwarder. Это отдельный дистрибутив и отдельная роль в платформе Splunk, которая выступает в качестве агента и отвечает исключительно за сбор логов и пересылку их на сервер.
Unix
А – версия доступна для скачивания, но не имеет официальной поддержки
D – версия в данный момент поддерживается, но в будущих релизах компания может снять ее с официальной поддержки
Windows
D – версия в данный момент поддерживается, но в будущих релизах компания может снять ее с официальной поддержки
… — версия поддерживается, но Splunk не рекомендует использовать данную архитектуру
После того как вы скачали установочный файл просто запускайте установку и по умолчанию система встанет в базовой конфигурации. Подробная пошаговая инструкция по установке на Windows здесь, на Unix системы здесь.
После установки Splunk должен быть доступен через веб интерфейс порт 8000: localhost:8000 и после смены пароля и входа вы увидите следующий интерфейс.
На этом мы закончим вводный обзор. В следующей статье мы расскажем как загрузить данные в Splunk, как пользоваться языком SPL, как строить графики и дашборды.
Также, мы недавно делали вебекс общего характера про Splunk — его запись вы можете посмотреть по ссылке на Youtube. В этом вебинаре был показан базовый функционал и рассказаны некоторые кейсы применения продукта.
16 марта мы проведем еще один вебинар (регистрация) по Splunk со следующими тезисами:
В данной статье мы кратко расскажем о самой системе и её назначении, а также рассмотрим варианты по её установке.
Пару слов про Splunk
Splunk это платформа для сбора, хранения, обработки и анализа машинных данных, то есть логов. На сегодняшний день является крайне популярной в США и в Европе и постепенно выходит на другие рынки, включая Россию. Одной из главных особенностей платформы является то, что она может работать с данными практически из любых источников, и поэтому список возможных применений системы очень широк.
Splunk, в большинстве случаев, (автоматически или с помощью аддонов) разбирает входные данные на поля и значения и в последствии обрабатывает их. Обработка происходит посредством SPL запросов (специальный язык от Splunk), с помощью которого можно строить различные выборки и таблицы, сортировать, фильтровать, агрегировать, строить отчеты, создавать вычисляемые поля, обращаться как к внутренним, так и внешним справочникам, создавать дашборды, с широким спектром визуализации и делать алерты (например по результату выполнения запроса отправлять тикеты в Service Desk). Все это можно упаковать в свое персональное приложение.
Основные отличия или сильные стороны Splunk
- Real Time Architecture: Splunk осуществляет сбор, поиск, мониторинг и анализ по различным и достаточно большим (сотни Тб данных в день) объемам данных в режиме реального времени и все это — одна система.
Почему это важно? Потому что Splunk может обеспечить сбор данных в реальном времени из тысяч разнородных источников — и это может быть как физический или виртуальный хост, так и облако. Также Splunk поддерживает поиск не только в реальном времени, но и по всему временному промежутку, данные за который были собраны. То есть мы можем осуществлять поиск, мониторинг, оповещения, отчетность и анализ за любое время (исторический данные и данные в реальном времени в одном решении). И наконец, Splunk обеспечивает быстрый результат и высокую интерактивность поисковых запросов на чрезвычайно больших объемах данных.
- Universal Machine Data Platform: Splunk является универсальной платформой для машинных данных, которая обеспечивает комплексный сбор данных, их обработку и анализ. Таким образом мы можем индексировать любые машинные данные с отметкой о времени независимо от структуры и формата. Splunk способен объединить в себе машинные данные + бизнес данные + пользовательские данные, что делает его крайне универсальным.
- Schema on the Fly: Splunk осуществляет поиски по времени, то есть вам не нужно заранее знать структуру данных, чтобы сформировать запрос. Вы можете выбрать промежуток во времени, ввести пару ключевых слов и быстро ознакомиться с данными. Нет никаких жестких ограничений на столбцы, таблицы и прочее. Это сильно повышает гибкость системы. Также любой запрос можно остановить, поставить на паузу или показать промежуточные результаты.
- Agile Reporting & Analytics: Splunk предоставляет широкие возможности по построению аналитики, отчетов и их визуализации. Помимо целевых данных, система также может обращаться ко внешним справочникам, например в SQL БД. Также хотелось бы сказать, что Splunk достаточно открытая система и вы всегда можете дописать свой модуль, хотя возможности визуализации ну очень разнообразны.
- Scales from Desktop to Enterprise: Splunk использует технологию MapReduce, что обеспечивает распределение нагрузок и горизонтальную масштабируемость системы, то есть мы можем начать с одного сервера для Splunk, а при увеличении данных — быстро добавить пару новых серверов и распределить нагрузку. Также благодаря технологии MapReduce Splunk может быстро перерабатывать реально большие объемы данных, не требуя выдающегося железа.
- Fast Time to Value: Splunk позволяет быстро получить результат от использования. Внедрение занимает часы или дни, а не недели и месяцы. Тоже самое с масштабированием и эксплуатацией.
- Passionate & Vibrant Community: У Splunk есть очень качественное, а главное бесплатное комьюнити, которое включает:
- Splunk Base — портал, содержащий всевозможные приложения и аддоны, 99% из которых бесплатно
- Splunk Answers — форум с большим числом вопросов/ответов и живых участников
- Splunk Dev — портал для разработчиков
- Splunk Dock — полная база знаний продукта
Где скачать?
Бесплатная версия Splunk c ограничением на индексацию в 500 Мб в день доступна на официальном сайте компании, единственное что вам нужно сделать это пройти регистрацию.
Системные требования
Splunk поддерживает как 32-bit, так и 64-bit разрядную архитектуру. Ниже представлены таблицы с доступными платформами для Splunk отдельно для Unix и Microsoft. В последнем столбце таблицы находится информация о Splunk Universal Forwarder. Это отдельный дистрибутив и отдельная роль в платформе Splunk, которая выступает в качестве агента и отвечает исключительно за сбор логов и пересылку их на сервер.
Unix
А – версия доступна для скачивания, но не имеет официальной поддержки
D – версия в данный момент поддерживается, но в будущих релизах компания может снять ее с официальной поддержки
Windows
D – версия в данный момент поддерживается, но в будущих релизах компания может снять ее с официальной поддержки
… — версия поддерживается, но Splunk не рекомендует использовать данную архитектуру
Установка
После того как вы скачали установочный файл просто запускайте установку и по умолчанию система встанет в базовой конфигурации. Подробная пошаговая инструкция по установке на Windows здесь, на Unix системы здесь.
После установки Splunk должен быть доступен через веб интерфейс порт 8000: localhost:8000 и после смены пароля и входа вы увидите следующий интерфейс.
На этом мы закончим вводный обзор. В следующей статье мы расскажем как загрузить данные в Splunk, как пользоваться языком SPL, как строить графики и дашборды.
Также, мы недавно делали вебекс общего характера про Splunk — его запись вы можете посмотреть по ссылке на Youtube. В этом вебинаре был показан базовый функционал и рассказаны некоторые кейсы применения продукта.
П.с.
16 марта мы проведем еще один вебинар (регистрация) по Splunk со следующими тезисами:
- Что такое решение Splunk и из чего оно состоит
- Как Cisco использует Splunk для работы со своими решениями и как работает Cisco Security Suite от Splunk
- Какую пользу позволяет получить Splunk, интегрируясь с системами Microsoft
- Как Splunk технологически интегрируется с системами Microsoft и Cisco, лучшие практики по подключению и архитектуре
- Как использовать бесплатное решение на базе Splunk для работы с Microsoft и Cisco
Поделиться с друзьями
opanas
У вас хорошо получаетяся структурированно и лаконично информацию по вендорам представлять. Подписался на блог, спасибо.
Про Splunk с точки зрения Информационной Безопасности (т.е. SIEM-решений) могу добавить, что он активно пальму первенства у HPE ArcSight забирает, квадрант Gartner SIEM 2016 для наглядности:
AlexKulakov
Спасибо за комментарий!
А какие Use Cases наиболее востребованы на рынке, исходя из Вашего опыта?
opanas
Я бы сказал, что они к двум категориям относятся: «помогите запустить SIEM» и «нам срочно нужна защита от новой-популярной-угрозы».
В первой категории находятся: мониторинг неудачных авторизаций (подбор паролей, ошибочный ввод пароля в поле логина и т.д.), консолидация событий антивирусной защиты, мониторинг исходящих соединений (на предмет утечки данных, подключения к ТОР-сети, командным центрам ботоводов и т.д.). Часто задача стоит как «помогите показать руководству положительный эффект от внедрения SIEM».
Ну и, соответственно, когда все СМИ трубят о Mirai-ботнете, Ransomware (криптовымогатели), утечке эксплуатируемых ЦРУ уязвимостях нулевого дня — возникает спрос на оперативную защиту уже сегодня (вместо длительной разработки кейса своими силами).
Комплексная защита, такая как обнаружение Advanced Persisted Threat (APT), также попадает во вторую категорию, т.к. это слабоформализуемая задача и эффективнее ее на аутсорс отдать.
cooper051
А на чем чаще всего эти use case-ы отрабатываете? Splunk, ArcSight, ELK?
Что вообще думаете о ELK? Применим ли он в обычных среднестатистических компаниях без выделенного штата работников по анализу данных?
opanas
У нас есть внутренний лабораторный демо-стенд, на нем и обкатываем кейсы. Плюс учитываем замечания от первых клиентов, конечно же. Полный список кейсов в таблице приведен.
Касательно ELK — интересно и перспективно. Под данный SIEM (с точки зрения безопасности я этот продукт именно как SIEM возспринимаю) у нас еще нет юзкейсов. Но уже разработан мониторинг «здоровья» ядра и компонентов. Сложные системы сложно поддерживать, эту задачу мы также решаем (для ArcSight, QRadar, Elastic) = Predictive Maintenance.
cooper051
А для graylog?
opanas
Все спросом рынка определяется. Планов у нас много, но пока на самые популярные системы ориентируемся. GreyLog'а в них нет.
В дополнение к Gartner Magiс Quadrant SIEM 2016 (см.мой первый комментарий), вот сегодня ForesterWave for Security Analytics Platforms 2017 Q1 нашел. PDF по ссылке качается.
Finick95
Спасибо за статью! Планирует ли Спланк поддержку Windows Server 2016?
AlexKulakov
Спасибо за вопрос!
Да, конечно планирует, скоро должен быть официальный релиз!
LeshiyUrban
Работал со Splunk. Система реально очень быстрая и удобная. «коробочный» ELK выдавал 1/10 скорости на том же оборудовании.
Только один минус: стоит как крыло самолета. Может даже дороже
AlexKulakov
Спасибо за комментарий!
Если прибавить к ELK стоимость железа, чтобы он работал хотя бы на уровне со Splunk + расходы на внедрение и разработку, то суммы стоимости владения будут похожи.
А на каких объемах Вы проводили сравнение?
LeshiyUrban
Вполне возможно. 500ГБ данных за 6-8 часов (логи). В дальнейшем планировалось нарастить до 1-2ТБ. Данные поступают ежедневно.
Мое мнение как инженера — очень качественный (скорость, удобство, возможности) продукт. Но бюджетом управляю не я)
netspyder
В чем преимущества и недостатки Splunk по сравнению с ManageEngine Log360
AlexKulakov
Спасибо за вопрос!
В первую очередь, отличие конечно в функционале, у Splunk он гораздо шире (не говоря уже о скорости работы, гибкости, универсальности и пр.). Это в общем. Также сильные стороны описаны в самой статье.
Вот ссылка на еще одно общее сравнение.
Для подробного сравнения стоит понимать предметную область использования.
PhysModel
Удобная система, работает шустро и весьма понятно. Сейчас активно изучаю возможности, что очень радует много всяких дополнительных наворотов. Рекомендую.