
Наша панель для управления серверами ходит на них по SSH. Проверка сервисов, чтение конфигов, мониторинг, и почти в каждом шаге есть sudo. В сентябре очередь SSH‑задач начала забиваться. В ней стояло 42 задачи, и новые ждали старта по несколько минут.
Тормозили пять серверов, которые подключили в тот же день. Прогон мониторинга шел на них от 1 до 4 минут, на остальных от 3 до 23 секунд. При этом сами серверы ничего не делали, load average на одном из них был 0,06
Где пропадало время
Медленными были только шаги с sudo. Часовой пояс панель узнает без sudo, и этот шаг занимал 0,3 секунды, соседние с sudo шли секундами. На одном из серверов sudo true, команда, которая ничего не делает, выполнялся 10,1 секунды.
При запуске sudo резолвит имя машины. Если имени нет в /etc/hosts, запрос уходит в DNS, так прописано в /etc/nsswitch.conf
hosts: files dns
Имя на этих серверах поменяла сама панель. При установке она делала hostnamectl set-hostname, а строку в /etc/hosts не добавляла. Адреса sudo в итоге не находил, писал в stderr предупреждение и выходил с кодом 0, поэтому задача считалась успешной. На стенде, о котором ниже, это выглядит так:
sudo: unable to resolve host box-a: Name or service not known
Почему раньше этого не было видно
На остальных серверах стоит systemd‑resolved, и на имя своей машины он отвечает сам, без запроса наружу. На воркере панели имени в /etc/hosts нет до сих пор, а sudo true идет 14 мс. resolvectl query про это имя пишет Data from: synthetic
Новые серверы стояли у другого хостера. Тыкать пальцем, конечно же, не будем. ? Просто в его образе Ubuntu /etc/resolv.conf статичный, без systemd‑resolved, с двумя внешними DNS и стандартными настройками glibc, это таймаут 5 секунд и 2 попытки. У других хостеров я такого не встречал. Каждый запрос, на который не пришел ответ, стоит 5 секунд.
Почему эти DNS отвечали так плохо, до конца выяснить не успели. Через день, когда на этих серверах меняли резолверы, с одного из них до части публичных DNS терялось до 30% UDP‑пакетов, а 1.1.1.1 оттуда не отвечал вовсе.
Сколько sudo ждет DNS
Это повторяется в Docker за пару минут. Ubuntu 24.04, sudo 1.9.15p5, имя машины убрано из /etc/hosts. Молчащий DNS изображает адрес 10.255.255.1, на него никто не отвечает.
/etc/hosts и resolv.conf |
sudo true |
|---|---|
имя в /etc/hosts |
2 мс |
имени нет, DNS 8.8.8.8 отвечает |
81 мс |
имени нет, один DNS молчит |
20 с |
имени нет, два DNS молчат |
40 с |
имени нет, два DNS молчат, |
16 с |
|
5 мс |
Один поиск через getent ahosts box-a при молчащем DNS идет ровно 10 секунд, это таймаут и вторая попытка. sudo true ждет вдвое дольше, как два таких поиска. Даже с живым DNS каждый sudo без строки в /etc/hosts тратит на это 81 мс вместо 2.
На проде выходило 10 секунд, а не 20. Похоже, пакеты терялись не все, и часть запросов успевала получить ответ.
Сначала /etc/hosts, потом hostnamectl
Сначала на пяти серверах руками прописали 127.0.1.1 с именем сервера. Прогон мониторинга там сократился до 12–19 секунд, а данные Fail2Ban в панели стали приходить за 1–3 секунды вместо 40.

Потом это ушло в код. Панель пишет строку в /etc/hosts до того, как менять имя, иначе первый же sudo после hostnamectl повиснет:
protected function applyHostname(string $hostname): string { $this->mapHostnameToLoopback($hostname); $this->exec('hostnamectl set-hostname '.RemoteArg::escape($hostname), sudo: true); $applied = trim((string) $this->exec('hostname')); // hostnamectl rewrites names that are not valid hostnames. if ($applied !== '' && $applied !== $hostname) { $this->mapHostnameToLoopback($applied); } return $applied; }
Вторая запись нужна, потому что hostnamectl может применить другое имя, если в переданном есть недопустимые символы. Тогда в /etc/hosts должно попасть то, что вернул hostname
Заодно сократили число sudo за одну проверку. Конфиги и состояния сервисов теперь читаются за один заход по SSH. Средний прогон мониторинга по всем серверам стал 4,1 секунды вместо 20,5, самый долгий 9,4 секунды вместо 279.
На следующий день поменялась и настройка DNS. Панель кладет в resolv.conf вместе с резолверами options timeout:2 attempts:2 rotate, а если новые резолверы ничего не находят, возвращает прежний файл.
Как понять, что у вас аналогичная проблема
time sudo true grep -n "$(hostname)" /etc/hosts getent ahosts "$(hostname)" readlink -f /etc/resolv.conf
Если sudo true идет дольше 100 мс, имени нет в /etc/hosts, а resolv.conf не ведет на stub-resolv.conf от systemd‑resolved, похоже, это оно. Лечится строкой 127.0.1.1 имя-сервера сразу после 127.0.0.1 localhost. В скриптах, которые меняют имя, ее стоит писать до hostnamectl

Нашли это по очереди задач, которая вдруг начала забиваться, хотя сами серверы простаивали. Ошибка тихая: sudo выходит с кодом 0, а предупреждение в stderr легко пропустить. Поэтому и решили поделиться. Если вы меняете имя сервера скриптом или берете серверы из образа без systemd‑resolved, стоит прогнать time sudo true и убедиться, что он идет миллисекунды, а не секунды.
Daimos
плохая практика, потом команда hostname будет localhost выдывать.
DanielSpravtsev Автор
hostname берет имя из ядра, hosts на него не влияет. localhost выдаст hostname -f, и то если дописать имя в строку к 127.0.0.1 localhost. С отдельной строкой 127.0.1.1 оба показывают имя сервера, установщик Debian так же делает. Для кластеров, правда, лучше вписать реальный IP
Daimos
мы наступали уже на эти грабли, долгое время добавляли в строку с 127.0.0.1 имя сервака и в какой-то момент один софт стал глючить и показывать localhost вместо имени. выяснилось что и hostname -f стал выдавать localhost. так что пришлось удалять это добавление в файл hosts. Rocky linux 9
DanielSpravtsev Автор
Да, это как раз тот случай!
В строке с 127.0.0.1 первым стоит localhost, и hostname -f считает его полным именем. С отдельной строкой 127.0.1.1 такого не бывает
Daimos
Нам 127.0.1.1 не понадобилось. Мы не ходим по всем сервакам и не запускаем там sudo. У нас Zabbix, сhef для такого есть.
Vangerltd
Я запутался. Можно пожалуйста пример как надо и как не надо?