Надо сказать, что приятель мой вполне себе UNIX-пользователь: может сам поставить систему, установить mysql, php и сделать простейшие настройки nginx.
И есть у него десяток-полтора сайтов посвященных строительным инструментам.
Один из таких сайтов посвященный бензопилам плотненько сидит в ТОПe поисковиков. Сайт этот — некоммерческий обзорник, но кому-то поперек горла и повадились его атаковать. То DDoS, то брутфорс, то комменты напишут непотребные и шлют абузы на хостинг и в РКН.
Неожиданно всё стихло и это затишье оказалось не к добру, а сайт начал постепенно покидать верхние строчки выдачи.
То была присказка, дальше сама админская байка.
Время близилось ко сну когда раздался звонок телефона: «Сань, ты не глянешь мой сервер? Мне кажется меня хакнули, доказать не могу, но ощущение не покидает уже третью неделю. Может мне просто пора лечиться от паранойи?»
Далее пошло получасовое обсуждение которое кратко можно изложить так:
- почва для взлома была вполне плодородной;
- взломщик мог получить права суперпользователя;
- атака (если она имела место) была целенаправленной и именно на этот сайт;
- проблемные места исправлены и нужно только понять был ли факт проникновения;
- взлом не мог коснуться кода сайта и баз данных.
Касательно последнего пункта.
В мир смотрит только белый IP фронтенда. Между бакендами и фронтендом нет никакого обмена кроме http(s), пользователи/пароли разные, ключами не обменивались. На серых адресах все порты кроме 80/443 закрыты. Белые IP бакендов известны только двум пользователям, которым Михаил всецело доверяет.
На фронтенде установлена Debian 9 и к моменту звонка система изолирована от мира внешним firewall'ом и остановлена.
«Ok, давай доступы, — решаю отложить сон на часок. — Посмотрю своим глазом».
Здесь и далее:
$ grep -F PRETTY_NAME /etc/*releas*
PRETTY_NAME="Debian GNU/Linux 9 (stretch)"
$ `echo $SHELL` --version
GNU bash, version 4.4.12(1)-release (x86_64-pc-linux-gnu)
$ nginx -v
nginx version: nginx/1.10.3
$ gdb --version
GNU gdb (Debian 8.2.1-2) 8.2.1
В поисках возможного взлома
Запускаю сервер, сначала в rescue-mode. Монтирую диски, пролистываю auth-логи, history, системные логи и т.п., по возможности проверяю даты создания файлов, хотя понимаю, что нормальный взломщик «подмел» бы за собой, да и Миша уже знатно «натоптал» пока искал сам.
Стартую в нормальном режиме, особо пока не понимая что искать, изучаю конфиги. В первую очередь интересует nginx так как, в общем-то, на фронтенде кроме него и нет ничего.
Конфиги небольшие, хорошо структурированые в десяток файлов, просматриваю их просто cat'ом по очереди. Вроде всё чисто, но мало-ли упустил какой-то include, сделаю-ка я полный листинг:
$ nginx -T
nginx: the configuration file /usr/local/etc/nginx/nginx.conf syntax is ok
nginx: configuration file /usr/local/etc/nginx/nginx.conf test is successful
Не понял: «Где листинг-то?»
$ nginx -V
nginx version: nginx/1.10.3
TLS SNI support enabled
configure arguments: --with-cc-opt='-g -O2' --with-ld-opt='-Wl,-z,relro -Wl,-z,now' --prefix=/usr/share/nginx --conf-path=/etc/nginx/nginx.conf --http-log-path=/var/log/nginx/access.log --error-log-path=/var/log/nginx/error.log --lock-path=/var/lock/nginx.lock --pid-path=/run/nginx.pid --modules-path=/usr/lib/nginx/modules --http-client-body-temp-path=/var/lib/nginx/body --http-fastcgi-temp-path=/var/lib/nginx/fastcgi --http-proxy-temp-path=/var/lib/nginx/proxy --http-scgi-temp-path=/var/lib/nginx/scgi --http-uwsgi-temp-path=/var/lib/nginx/uwsgi --with-debug --with-pcre-jit --with-ipv6 --with-http_ssl_module --with-http_stub_status_module --with-http_realip_module --with-http_auth_request_module --with-http_v2_module --with-http_dav_module --with-http_slice_module --with-threads --with-http_addition_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_sub_module --with-stream=dynamic --with-stream_ssl_module --with-mail=dynamic --with-mail_ssl_module
К вопросу о листинге добавляется второй: «Почему такая древняя версия nginx?»
К тому же система считает, что версия установлена свежее:
$ dpkg -l nginx | grep "[n]ginx"
ii nginx 1.14.2-2+deb10u1 all small, powerful, scalable web/proxy server
Звоню:
— Миш, ты зачем пересобирал nginx?
— Окстись, я даже не знаю как это сделать!
— Ok, ну, спи…
Nginx однозначно пересобран и вывод листинга по "-T" скрыт неспроста. Сомнений во взломе уже нет и можно это просто принять и (раз уж Миша всё-равно заменил сервер новым) посчитать проблему решенной.
И действительно, раз уж некто получил права root'а, то имеет смысл делать только system reinstall, а искать, что там было набедокурено бесполезно, но в этот раз любопытство победило сон. Как же узнать что от нас хотели скрыть?
Попробуем оттрассировать:
$ strace nginx -T
Просматриваем, в трассировке явно не хватает строк а-ля
write(1, "/etc/nginx/nginx.conf", 21/etc/nginx/nginx.conf) = 21
write(1, "...
write(1, "\n", 1
Ради интереса сравниваем выводы
$ strace nginx -T 2>&1 | wc -l
264
$ strace nginx -t 2>&1 | wc -l
264
Думаю, что часть кода /src/core/nginx.c
case 't':
ngx_test_config = 1;
break;
case 'T':
ngx_test_config = 1;
ngx_dump_config = 1;
break;
была приведена к виду:
case 't':
ngx_test_config = 1;
break;
case 'T':
ngx_test_config = 1;
//ngx_dump_config = 1;
break;
или
case 't':
ngx_test_config = 1;
break;
case 'T':
ngx_test_config = 1;
ngx_dump_config = 0;
break;
поэтому листинг по "-T" не отображается.
Но как же посмотреть наш конфиг?
Если моя мысль верна и проблема только в переменной ngx_dump_config попробуем установить её c помощью gdb, благо ключик --with-cc-opt -g присутствует и надеемся, что оптимизация -O2 нам не помешает. При этом, раз я не знаю как ngx_dump_config могла быть обработана в case 'T':, не будем вызывать этот блок, а установим её используя case 't':
if (ngx_test_config) {
if (!ngx_quiet_mode) {
ngx_log_stderr(0, "configuration file %s test is successful",
cycle->conf_file.data);
}
if (ngx_dump_config) {
cd = cycle->config_dump.elts;
for (i = 0; i < cycle->config_dump.nelts; i++) {
ngx_write_stdout("# configuration file ");
(void) ngx_write_fd(ngx_stdout, cd[i].name.data,
cd[i].name.len);
ngx_write_stdout(":" NGX_LINEFEED);
b = cd[i].buffer;
(void) ngx_write_fd(ngx_stdout, b->pos, b->last - b->pos);
ngx_write_stdout(NGX_LINEFEED);
}
}
return 0;
}
Конечно, если код изменен в этой части, а не в case 'T':, то мой способ не подойдет.
events {
}
http {
include /etc/nginx/sites-enabled/*;
}
Его и будем для краткости использовать в статье.
$ gdb --silent --args nginx -t
Reading symbols from nginx...done.
(gdb) break main
Breakpoint 1 at 0x1f390: file src/core/nginx.c, line 188.
(gdb) run
Starting program: nginx -t
[Thread debugging using libthread_db enabled]
Using host libthread_db library "/lib/x86_64-linux-gnu/libthread_db.so.1".
Breakpoint 1, main (argc=2, argv=0x7fffffffebc8) at src/core/nginx.c:188
188 src/core/nginx.c: No such file or directory.
(gdb) print ngx_dump_config=1
$1 = 1
(gdb) continue
Continuing.
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
# configuration file /etc/nginx/nginx.conf:
events {
}
http {
map $http_user_agent $sign_user_agent
{
"~*yandex.com/bots" 1;
"~*www.google.com/bot.html" 1;
default 0;
}
map $uri $sign_uri
{
"~*/wp-" 1;
default 0;
}
map о:$sign_user_agent:$sign_uri $sign_o
{
о:1:0 o;
default о;
}
map а:$sign_user_agent:$sign_uri $sign_a
{
а:1:0 a;
default а;
}
sub_filter_once off;
sub_filter 'о' $sign_o;
sub_filter 'а' $sign_a;
include /etc/nginx/sites-enabled/*;
}
# configuration file /etc/nginx/sites-enabled/default:
[Inferior 1 (process 32581) exited normally]
(gdb) quit
По шагам:
- устанавливаем точку останова в функции main()
- запускаем программу
- изменяем значение переменной определяющей вывод конфига ngx_dump_config=1
- продолжаем/завершаем программу
Как видим реальный конфиг отличается от нашего, выделяем из него паразитный кусок:
map $http_user_agent $sign_user_agent
{
"~*yandex.com/bots" 1;
"~*www.google.com/bot.html" 1;
default 0;
}
map $uri $sign_uri
{
"~*/wp-" 1;
default 0;
}
map о:$sign_user_agent:$sign_uri $sign_o
{
о:1:0 o;
default о;
}
map а:$sign_user_agent:$sign_uri $sign_a
{
а:1:0 a;
default а;
}
sub_filter_once off;
sub_filter 'о' $sign_o;
sub_filter 'а' $sign_a;
Рассмотрим по порядку что же здесь происходит.
Определяются User-Agent'ы yandex/google:
map $http_user_agent $sign_user_agent
{
"~*yandex.com/bots" 1;
"~*www.google.com/bot.html" 1;
default 0;
}
Исключаются служебные страницы wordpress:
map $uri $sign_uri
{
"~*/wp-" 1;
default 0;
}
И для тех, кто попал под оба вышеперечисленных условия
map о:$sign_user_agent:$sign_uri $sign_o
{
о:1:0 o;
default о;
}
map а:$sign_user_agent:$sign_uri $sign_a
{
а:1:0 a;
default а;
}
в тексте html-страницы изменяется 'о' на 'o' и 'а' на 'a':
sub_filter_once off;
sub_filter 'о' $sign_o;
sub_filter 'а' $sign_a;
Именно так, тонкость только в том что 'а' != 'a' так же как и 'о' != 'o':
Таким образом боты поисковых систем получают вместо нормального 100%-кириллического текста модифицированный мусор разбавленный латинскими 'a' и 'o'. Не берусь рассуждать как это влияет на SEO, но вряд ли такая буквенная мешанина позитивно скажется на позициях в выдаче.
Что сказать, ребята с фантазией.
Ссылки
Отладка с помощью GDB
gdb(1) — Linux man page
strace(1) — Linux man page
Nginx — Module ngx_http_sub_module
О пилах, бензопилах и электропилах
Комментарии (62)
identw
02.09.2019 21:08+1Надо было им хитрее поступить, скомпилировать такую же версию, а вместо скрытия всего конфига, утаить только свою часть. Но интересно, как же рута получили. Вдруг дыра на сайте, и если даже дыра, бэкенд наверняка от обычного пользователя работает, то есть ещё и права подняли.
eugene08
02.09.2019 22:19судя по схеме сервер только с нжинксом, бекенда там нет. то есть вломились через ссш/другой сервис ну или сам нжинкс.
iig
02.09.2019 21:43-2Разве strace не показывает, к каким файлам было обращение? А скомпилированный конфиг было бы видно через strings.
up40k
02.09.2019 22:33Символы ведь совсем необязательно хранить в ascii. Да хотя бы поксорить их могли.
iig
03.09.2019 06:59Да, я понял уже. Это несложно сделать. Другое странно: запилить такой изящный хак с подменой выдачи, и лопухнуться с версией nginx? Модифицировать ведь все равно какие исходники.
И что хакеры не додумались strip нуть символы, странно как-то.lany
03.09.2019 10:17+1Скорее всего делали не сами, а взяли готовое решение на специализированных сайтах. Либо купили один раз у кого-то давно и до сих пор используют. Персонально под каждого клиента код править — подороже будет услуга.
iig
03.09.2019 18:05+3Как-то сложно и узкоспециализировано для готового решения. Если уж есть доступ к прокси, и хочется вмешиваться в отдаваемый контент, можно и не заморачиваться в скрытие рабочего конфига. Закодировать замену некоторых символов по некоторым условиям можно и прямо внутри кода nginx. Также (если тут действительно конкуренты замешаны) странно, что данные из формы заказа пилы не дублируются, например, в telegram-контакт конкурента.
q2digger
02.09.2019 21:47Вопрос. Почему Вы не видели этих зловредных включений, когда просматривали конфиги через cat?
Я припоминаю баг в bash-e нескольколетней давности, когда можно было скрыть содержимое скрипта при просмотре в консоли, но деталей не помню, если честно.eugene08
02.09.2019 22:25+9вероятно эта часть была впилена в код нжинкса, хранить такой конфиг на диске было бы слишком заметно, + иначе не было бы особого смысла пересобирать
AlexanderS
02.09.2019 23:07Хорошая нетривиальная статья. Я тоже «вполне себе UNIX-пользователь», поэтому читать было интересно)
metaprog
02.09.2019 23:34Как сервер могли взломать? Это nginx решето или что-то другое?
member0
03.09.2019 00:40nginx — достаточно безопасный и очень стабильный продукт. Да и серьезных багов в нем очень мало. Проблема в 9 случаев из 10 в Wordpress/Joomla/плагинах для них и т.д т.п.
Хакают через дырявые плагины, а потом заливают шелл и уже повышают привилегии.
roboter
03.09.2019 14:05+2Только по тексту ВордПресс на другом сервере.
5m1l3
03.09.2019 15:54+2Я как-то совсем не уверен на 100%, бэкэнды не затронуты, ну стоит оно на другом сервере, но вот по последней ссылке в статье, там есть каменты как минимум, значит есть динамика которая смотрит наружу, соотв возможно злоумышленники сломали бэк и уже с него пролезали на фронт. Как-то организована серая адресация между хостами, значит уже не только http/https их связывает, есть vpn либо это все на одном гипервизоре. Много недосказанного в статье, хочется подробностей )
OPECT
03.09.2019 14:25+1Позволю себе высказать свое мнение об ситуации. Полностью поддерживаю Ваши слова. Только вот, как сказали ниже, бекенд сайта был на другом хосте. Из-за этого мне история кажется странной. Как чтиво — очень понравилось. Но если на балансере торчали наружу только «обновленные» nginx и ssh, то гораздо целесообразнее было бы ломать именно сайт (поймать момент когда не вовремя обновят какие то плагины или библиотеки, таких мест на веб-сайтах обычно много), а это дало бы доступ до бекенда. И если правда история реальна, то информация о том, каким образом сломали именно фронтенд, мне кажется очень полезной.
glowingsword
03.09.2019 22:28В данном случае php обрабатывался на других двух серваках-бэкендах. Так что хакнули не через php. Скорей уж через дырявый exim, или любой другой торчащий наружу сервис с известным CVE. А то и вовсе пароль сбрутили(видел такое не раз, грустное зрелище), если к серваку был доступ по SSH по паролю. Ни стоит юзать парольный доступ к сервакам по SSH. Как и старые версии сервисов.
Alexander_Tamirov
03.09.2019 00:36Интересно было бы узнать, у вашего друга этот сайт мониторился в Яндекс.Вебмастере или Google Search Console?
Просто такая абракадабра из букв могла бы рассматриваться как нарушение или даже критическое нарушение, могло бы отображаться какое-то предупреждение в этих инструментах…ALF_Zetas
03.09.2019 00:49+2это СЕО статья для сайта о пилах, на который ссылка в самом конце — а вся история просто придумана ;)
Alexander_Tamirov
03.09.2019 01:26+1Может и не совсем придумана, но ссылка не просто так )) Сразу не обратил внимание на ссылки…
По крайней мере в Яндексе и Google по запросу «site:opilah.com» в сниппетах и кэше я не нашел страниц с подмененными буквами a и o. Могло, конечно, много времени пройти уже и кэш обновился…
Mitch
03.09.2019 12:27+2Вполне возможно, и да, это круто!
Стройматериалы, походу реально сверхконкурентная ниша,
если там делают такие взломы, или даже если для получения ссылки, пишутся такие статьи.
Tomahawk_nsk
03.09.2019 13:46Более того, могут анализироваться цены с сайтов магазинов-конкурентов для того, чтобы вовремя выставить более привлекательную цену в собственном магазине. Об этом была статья на хабре.
n1ger
04.09.2019 00:54Я тоже очень склоняюсь к этому варианту. Ниже немного рассуждений по этому поводу. IMHO так сказать.
«Дружище я там слышал про Хабраэффект (а может и нет никакого друга?) — это же огромный траффик, некоторые из них задержатся после перехода — это плюсик к пользовательским факторам, тем более давай ссылку назовем не просто „Сайт-жертва“, а „О пилах, бензопилах и электропилах“ — как никак, а увесистая ссылочка с трастового домена с нужным анкором».
то комменты напишут непотребные и шлют абузы на хостинг и в РКН
Здесь еще интереснее. Открыл из выдачи гугла странички, что гугл предлагает из site:opilah.com — и ни в одной статье не было ни одного комментария. Совпадение? Не думаю.
Ну и интересно было бы посмотреть статистику из гугл аналитики/яндекс метрики, как сайт «падал» из ТОПа поисковиков — а то выглядит как красивый детективный опус о поисках мальчика, а был ли мальчик?
Но СЕО статья о пилах с такой задумкой на Хабре — это next level play
algotrader2013
03.09.2019 17:49Помню, как лет 8 назад скачал кусок кода на C# с кириллическими о (не всеми, а 50/50 где-то) с какого-то сайта типа super-best-referaty.ru. Долго скомпилировать не мог, но все же нашлась проблема
Долго ломал голову, зачем это сделано
1) троллинг коллег-программистов, типа читать-читай, а писать код — свою голову имей)
2) достижение уникальности контента для сео
3) взят кусок кода из курсовой, которую готовили для прохождения системы антиплагиат
теперь еще один вариант появился)Alexander_Tamirov
03.09.2019 18:21+1Это ещё цветочки, а могут всякие управляющие символы нафигачить.
Типа пробела нулевой ширины «a?b» — в кавычках 3 символа. Или типа Right to left mark (не хочу тут экспериментировать )). Была кстати, такая атака с подменой расширений файлов типа picturexe.gif примерно так (на самом деле файл был picturfig.exe)
Поисковик такие «слова» тоже наверное забракует. А визуально вообще незаметно будет.
Paskin
03.09.2019 00:49+4Белые IP бакендов известны только двум пользователям
и всем script kiddies, занимающимся их последовательным перебором
Prototik
03.09.2019 06:20Ну чисто технически — адреса могут быть и IPv6. Да и никто не запрешает настроить файрволл на бекендах так, чтобы они молчали в тряпочку для всех, кроме фронта.
FragCounter
03.09.2019 09:28-2Я правильно понимаю, что перебор может вестись именно с фронта и тогда эта настройка файрволла не будет иметь смысла?
up40k
03.09.2019 13:23+2С фронта не нужно ничего перебирать, он уже шлет трафик на бэки, достаточно глянуть нетстат или ss, или конфиги nginx.
У бэкендов вообще не должно быть публичных адресов, по-хорошему. Что, конечно, не избавляет от настройки фаерволла на них.
DmitryAnatolich
03.09.2019 10:13+2Как это про торт еще никто не написал? / sarcasm
Сильно жду продолжения с расследованием проникновения, нахождением исполнителя и заказчика и соответствующими последствиями.
onground
03.09.2019 11:21+8С учётом того, что ребята занимаются бензопилами, последствия могут быть достаточно болезненными.
Tetragonchik
03.09.2019 10:55Интересно, хоть и ссылка на бензопилы, но идея очень интересная. А есть какие-нибудь онлайн сервисы по определению наличия русских/латинских букв в тексте?
Elterven
03.09.2019 11:00+1антиплагиат
Tetragonchik
03.09.2019 11:11Погуглил «проверка на русские символы онлайн» — полно. На английские думаю тоже найдутся…
Whuthering
03.09.2019 12:16Могут еще вместо латинских и кириллических букв подсовывать вообще всякие Unicode-символы, визуально почти не отличимые от них.
Напрашивается, кстати, идея плагина для систем веб-мониторинга, проверяющая, что сайт отдает контент без подозрительных символов, да.
denis-isaev
03.09.2019 14:07+4Сайт конечно далеко не некоммерческий обзорник, а вполне коммерческая SEO помойка, но статья познавательная! :)
Negan_i_am
03.09.2019 14:07-7Сайты на Wordpress даже школьтники легко ломают с помощью Kali Linux.
https://www.youtube.com/watch?v=nF9TbnJvpJ0
AlabaeFF1976
03.09.2019 16:48Познавательная статья. Особенно если вспомнить недавнюю историю со взломом баз РЖД. Вот что бывает, когда защита информации делается не профессионально и используется абы какое, часто устаревшее ПО.
NBAH79
03.09.2019 17:04Это старый прием. У меня такая же история была с модом Фотограф на Сталкер. Во многих скриптах буквы а, с, е вместо латинских были русские, и имена файлов тоже, часть латинскими и где то русская. Как будто кто то не хотел чтоб в эту игру можно было играть за рубежом. И так как у меня стоял чисто английский виндовс, и даже для DOS программ не было кодировки, скрипты есесьно не нашли файлы, а в логах появились надписи типа «can't find file l?rg?gun». И я по мере прохождения мода при каждом вылете заглядывал в лог, исправлял скрипт и переименовывал файл. Потому что было интересно чем кончится… )) Но как так можно перепутать — для меня загадка. Если специально — это не иначе как какой то терроризм, и если бы не вопросики в логах, я бы не понял в чем проблема.
am-habr
03.09.2019 17:45-1Если так заменены буквы, то запросы на страницы от описанных агентов должны получить код 404. И их количество в access.log должно увеличиться.
Вы меня навели на мысль, на сайтах в имеющейся статистике логов акцентировать внимание на этом факте.
Speakus
03.09.2019 19:00Чтобы вовремя найти такое надо регулярно загружать страницу из сервера c нужным userAgent и находить на странице ожидаемый текст — но это же автоматическое тестирование, а на него почему-то большинство забивает.
alisichkin
05.09.2019 13:00Что-то подобное было у моей бурной молодости, когда я работал «опером» в IT отделе.
Был у нас доступ к безе Госкомстата — реестр зарегистрированных фирм на территории РФ. Как-то подходят ко мне и говорят: «Найди данные на фирму N». Я ищу и ничего не нахожу. Спрашиваю: «Фирма липовая?» — «Нет» — отвечают — «Точно фирма должна быть». Потратил дня два, пока не нашел по подстроке (часть названия выдавала слишком большой объем данных). Начал разбираться, почему не находил по полному названию, и выяснил, что в названии фирмы русская буква 'а', была заменена на английскую 'а'.
Была ли это ошибка оператора Госкомстата или ??? Лихие 90-е.
belmike
Спасибо за статью. Очень интересно было. Только не было раскрыто — как получили root доступ?
ooprizrakoo
Ну, если говорят что
очевидно, устаревший софт какой-то торчал. Типа того, что какой-нибудь непатченный вордпресс/DLE/Drupal/Joomla, или дырявый плагин в нем, где можно получить локальный шелл, а потом повысить привилегии через какие-нибудь иные сплоиты.
up40k
Но ведь на фронтенде кроме прокси ничего не было...
ooprizrakoo
тут может я не очень понимаю, что значит «взлом не мог коснуться кода сайта».
ведь и не трогая код можно добавить какой-нибудь аттач kartinka.jpg.php в форму комментария, и потом выполнить его через /uploads/kartinka.jpg.php
(если конечно там настолько странный софт стоит и права на папки аналогично странные)
up40k
В статье подразумевается, что взломан был фронтенд-сервер. Автор пишет также, что доступа с бэкенда к фронтенду не было — даже если бы залились на бэкенд через уязвимое веб-приложение и подняли там привилегии, это не могло бы объяснить, как на фронтенде оказался пересобранный бинарник.
datacompboy
Вполне можно подменить то, что клиент заливает. Админ. Мы ж MitM в обе стороны, причем доверенный посредник.