Привет, Хабр! Продолжая продвигать ИБ-трек для начинающих специалистов, я решил вместе с вами построить свой собственный мини-киберполигон. Ранее я уже упоминал киберполигоны, говорил о том, что они есть практически у всех, на них строятся соревнования, макетируются атаки, тестируются СЗИ и проводятся учения.

Сегодня мы “развернем елку” и “прикрутим к ней сурикату”.

Компоненты ELK

• Elasticsearch — система поиска и анализа данных, основанная на движке Apache Lucene. Основной функцией системы в стеке — хранение, поиск и анализ данных практически любого масштаба и практически в реальном времени (NRT Search).

• Logstash — система сбора данных с разных источников и отправки их в «хранилище» по типу Elastic»a. Перед отправкой Logstash может «разбирать», фильтровать и преобразовывать данные в нужный формат для их дальнейшей индексации и анализа.

  

• Kibana — средство для аналитики и визуализации данных, используемое для просмотра данных, построения интерактивных диаграмм и графиков с целью организации событий по разным признакам.

• 

Suricata

• В режиме IDS Suricata анализирует сетевой трафик на наличие вредоносной активности и аномалий с помощью набора правил.

• В режиме IPS Suricata не только детектирует аномалии и вредоносную активность, но и блокирует вредоносный трафик, предотвращая реализацию кибер-атак

Перейдем к развертыванию:

В качестве сервера я буду использовать виртуальную машину на Ubuntu 20.04 (пропустим момент установки ВМ-ки, я верю, что вы сможете сделать это самостоятельно)

Установка Suricata

Перед установкой суриката выполните команду sudo apt install -y software-properties-common для установки необходимых зависимостей

Затем добавьте репозиторий с сурикатой и установите систему

sudo add-apt-repository -y ppa:oisf/suricata-stable

sudo apt update

sudo apt install -y suricata

Перед манипуляциями с конфигурационными файлами советую всегда копировать содержимое стандартных файлов для возможности быстрого «отката».

Для настройки вывода событий в JSON-формате, добавьте в секцию ‘outputs’ следующую часть:

  - eve-log:

      enabled: yes

      filetype: regular

      filename: /var/log/suricata/eve.json

      types:

        - alert:

        - http:

        - dns:

        - tls:

        - filestore:

        - ftp:

        - smtp:

        - ssh:

        - flow:

        - stats:

Затем перезапустите Suricata, выполнив команду sudo systemctl restart suricata

Для запуска suricata выполните команду sudo suricata -c /etc/suricata/suricata.yaml -i <прослушиваемый_интерфейс> (список всех интерфейсов можно посмотреть с помощью команды ip a).

Установка ELK Stack

Компоненты Elasticsearch недоступны в репозиториях Ubuntu по умолчанию, поэтому вам следует добавить список источников пакетов Elastic. Все пакеты подписаны ключом подписи Elasticsearch, следовательно, дополнитель вам нужно импортировать общедоступный GPG-ключ Elasticsearch.

Для этого выполните команду:

curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch |sudo gpg --dearmor -o /usr/share/keyrings/elastic.gpg

Затем добавьте репозиторий Elastic в список ресурсов, откуда менеджер пакетов apt будет “забирать” нужные пакеты:

echo "deb [signed-by=/usr/share/keyrings/elastic.gpg] https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list

Затем обновите список источников для apt и установите Elasticsearch:

sudo apt update

sudo apt install elasticsearch

После установки системы отредактируйте конфигурационный файл elasticsearch. Раскомментируйте строку network.host: locahost, чтобы ограничить доступ к собираемым данным.

После этого вы можете запустить службу с помощью команды sudo systemctl start elasticsearch.

Для того, чтобы служба запускалась автоматически каждый раз при загрузке сервера, выполните команду sudo systemctl enable elasticsearch

Протестируйте работу службы с помощью команды curl -X GET "localhost:9200"

При успешном запуске в выводе вы получите информацию о кластере elasticsearch

Kibana

Согласно официальной документации, Kibana следует устанавливать только после установки Elasticsearch. Установка в таком порядке гарантирует, что компоненты, от которых зависит каждый продукт, будут правильно установлены на свои места.

Поскольку мы уже добавили репозиторий пакетов elastic, мы можем установить kibana с помощью apt:

sudo apt install kibana

Затем запустите службу и поставьте ее на «автозапуск»

sudo systemctl enable kibana

sudo systemctl start kibana

Из-за того, что Kibana настроена на прослушивание только на локальном хосте, для доступа к платформе «извне» стоит настроить обратный прокси, для этого мы поднимем сервер Nginx

Установка Nginx

Установить Nginx можно с помощью apt:

sudo apt install nginx

 После установки веб-сервера выполните команду echo "admin:`openssl passwd -apr1`" | sudo tee -a /etc/nginx/htpasswd.users, чтобы создать пользователя “aadmin” (можете использовать любое имя пользователя) с правами администратора и сохранить его в файле htpasswd.users

Далее введите и подтвердите пароль для пользователя и запомните учетные данные (лучше записать)

Затем добавьте в файл /etc/nginx/sites-avaliable/your_domain следующий блок кода, обязательно изменив параметр your_domain, чтобы он соответствовал полному доменному имени или белому IP-адресу вашего сервера:

 

server {

    listen 80;

     server_name your_domain;

     auth_basic "Restricted Access";

    auth_basic_user_file /etc/nginx/htpasswd.users;

     location / {

        proxy_pass http://localhost:5601;

        proxy_http_version 1.1;

        proxy_set_header Upgrade $http_upgrade;

        proxy_set_header Connection 'upgrade';

        proxy_set_header Host $host;

        proxy_cache_bypass $http_upgrade;

    }

}

Этот код настраивает Nginx для направления HTTP-трафика вашего сервера в приложение Kibana, которое прослушивает локальный хост: 5601.

После этого включите новую конфигурацию, создав символическую ссылку на каталог поддерживаемых сайтов:

sudo ln -s /etc/nginx/sites-available/your_domain /etc/nginx/sites-enabled/your_domain

Для проверки конфигурации Nginx на предмет синтаксических ошибок, выполните команду sudo nginx -t

Если ошибок нет, перезагрузите nginx для использования новой конфигурации: sudo systemctl reload nginx

Дополнительно установите и настройте брандмауэр с помощью команд:

sudo apt install ufw

sudo ufw allow ‘Nginx Full’

После этого Kibana будет доступна удаленно через ваш домен или публичный IP-адрес (и в том числе, логично, что останется локальный доступ).

Установка Logstash

Чтобы установить службу Logstash выполните команду sudo apt install logstash

После установки Logstash перейдите в каталог /etc/logstash/conf.d/ и создайте 2 конфигурационных файла — на «вход» и «выход» данных.

Создайте файл на «вход» данных с помощью команды sudo nano /etc/logstash/conf.d/beats_input.conf и добавьте в него следующую часть:

input {

  beats {

    port => 5044

  }

}

Затем создайте файл «на выход» с помощью команды sudo nano /etc/logstash/conf.d/elasticsearch-output.conf

И затем впишите в него данные строки:

output {

  if [@metadata][pipeline] {

         elasticsearch {

         hosts => ["localhost:9200"]

         manage_template => false

         index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"

         pipeline => "%{[@metadata][pipeline]}"

         }

  } else {

         elasticsearch {

         hosts => ["localhost:9200"]

         manage_template => false

         index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"

         }

  }

}

Затем проверьте конфигурацию с помощью команды sudo -u logstash /usr/share/logstash/bin/logstash --path.settings /etc/logstash -t

Если синтаксических ошибок нет, то в самом конце вам выведется “Config Validation Result: OK.”

После проверки конфигурации запустите службу и поставьте ее на “автозапуск”:

sudo systemctl start logstash

sudo systemctl enable logstash

Установка Filebeat

В качестве службы для сбора данных из различных источников и их дальнейшей передачи в Logstash или Elasticsearch развернем Filebeat.

Для установки службы выполните команду sudo apt install filebeat

В нашем случае, собранные данные будут отправляться в Logstash, поэтому в конфигурационном файле в секцию output.elasticsearch нужно закомментировать (два хештега ставить не обязательно, хватит одного).

И наоборот раскомментировать секцию output.logstash

Далее мы можем включить внутренний модуль службы filebeat, который собирает и анализирует данные с системных журналов Linux:

sudo filebeat modules enable system

Далее настроим пайплайны «приема» данных, которые анализируют полученные данные перед отправкой их через Logstash в Elasticsearch

Для того, чтобы поставить пайплайн приема событий для модуля system выполните команду:

sudo filebeat setup --pipelines --modules system

Затем загрузим шаблон индекса в Elasticsearch:

sudo filebeat setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'

Filebeat поставляется с образцами дашбордов Kibana для визуализации данных, чтобы их загружать, когда Logstash включен, необходимо отключить вывод Logstash и включить вывод Elasticsearch:

sudo filebeat setup -E output.logstash.enabled=false -E output.elasticsearch.hosts=['localhost:9200'] -E setup.kibana.host=localhost:5601

Далее включите службу и поставьте ее на автоматический запуск при старте сервера:

sudo systemctl start filebeat

sudo systemctl enable filebeat

Если Elastic Stack настроен правильно, Filebeat начнет отправлять ваш системный журнал и журналы авторизации в Logstash, который затем загрузит эти данные в Elasticsearch.

Проверить это можно выполнив команду curl -XGET 'http://localhost:9200/filebeat-*/_search?pretty'

Если ваши выходные данные показывают общее количество совпадений 0, Elasticsearch не загружает журналы по индексу, который вы искали, и вам нужно будет проверить настройки на наличие ошибок.

Далее вы можете перейти в веб-интерфейс Kibana в раздел Dashboard, затем выбрать дашборд Filebeat с модулем System и убедиться в том, что события доходят и визуализируются.

Интеграция Suricata c ELK

После успешного деплоя всех компонентов мы можем интегрировать Suricata в стек

Сначала нужно добавить в конфигурационный файл Suricata в секцию outputs следующий конфиг:

outputs:

  - eve-log:

      enabled: yes

      filetype: regular

      filename: /var/log/suricata/eve.json

      types:

        - alert

        - http

        - dns

        - tls

        - filestore

        - ftp

        - smtp

        - ssh

        - flow

        - stats

 После этого нужно создать конфигурационный файл Logstash (sudo nano /etc/logstash/conf.d/suricata.conf) и добавьте в него следующую конфигурацию:

input {

  file {

    path => "/var/log/suricata/eve.json"

    start_position => "beginning"

    sincedb_path => "/dev/null"

    codec => "json"

  }

}

 

filter {

  if [event_type] == "alert" {

    mutate {

      add_field => { "[@metadata][index]" => "suricata-alert" }

    }

  } else if [event_type] == "dns" {

    mutate {

      add_field => { "[@metadata][index]" => "suricata-dns" }

    }

  } else {

    mutate {

      add_field => { "[@metadata][index]" => "suricata-other" }

    }

  }

}

 

output {

  elasticsearch {

    hosts => ["localhost:9200"]

    index => "%{[@metadata][index]}-%{+YYYY.MM.dd}"

  }

  stdout { codec => rubydebug }

}

 Затем перезапустите службы Suricata и Logstash:

sudo systemctl restart suricata.service logstash.service

После чего вы можете перейти в Kibana и создать шаблон индекса для Suricata

Для этого в разделе Management выберите «Stack Management» → «Kibana» → «Index Patterns», затем нажмите «Create index pattern».

В поле name введите suricata* и в поле timestamp напишите @timestamp, затем нажмите «Create index pattern»

После этого в разделе Discover вам будут доступны события с журналов Suricata.

Как результат, мы задеплоили ELK Stack, настроили сервис FIlebeat и интегрировали Suricata в нашу систему.

В будущем материале расскажу как использовать этот полигон в образовательных целях. Надеюсь, эта статья была вам полезна, увидимся в новых статьях, до встречи!