Ночная смена — сервер и системный администратор

Ошибка 502 означает одно: nginx не смог получить ответ от приложения. Виноват почти всегда не он. Порядок проверки. Первое — жив ли бэкенд. systemctl status приложения, а лучше запрос напрямую к нему через curl на localhost с его портом. Если напрямую тоже не отвечает, дальше идти незачем. Второе — сокет и права. Если связь идёт через unix-сокет, проверьте, что файл существует и у nginx есть права на него. После смены пользователя приложения это ломается регулярно. Третье — таймауты. Приложение отвечает, но дольше, чем ждёт nginx. В логе ошибки будет upstream timed out. Лечится либо ускоре…

Сервер с открытым наружу SSH получает тысячи попыток входа в сутки. Настройка занимает десять минут. Вход только по ключам. В sshd_config: PasswordAuthentication no. Ключи генерируем на своей машине, публичный кладём в authorized_keys. Пароль после этого просто не спросят, и весь перебор становится бессмысленным. Запрет входа root напрямую: PermitRootLogin no. Заходим обычным пользователем, дальше sudo. В логах сразу видно, кто именно что делал. Fail2ban для тех, кто продолжает стучаться. Он читает лог и банит адреса после нескольких неудач. Настройка из коробки годится, поправить стоит тол…

Мониторинг часто превращается в стену графиков, на которую никто не смотрит. Метрик, которые предсказывают беду, немного. Свободное место на дисках — и обязательно скорость его роста. Диск, прибавивший десять процентов за сутки, важнее диска, который спокойно стоит на 85. Inode отдельно от места. Они кончаются внезапно, а симптом выглядит как «место есть, но ничего не работает». Средняя нагрузка и итератор ожидания ввода-вывода. Высокий iowait при низкой загрузке процессора — это упёрлись в диск, самый частый источник «всё тормозит». Память с учётом кэша и своп. Активно используемый своп н…

Массив из четырёх дисков по 8 терабайт, один умер, ставим новый, начинается перестроение — и во время него сыпется второй. Данные потеряны. Это не редкость, а математика. При перестроении контроллер читает все оставшиеся диски целиком, от первого сектора до последнего. Для дисков, которые годами читались выборочно, это самая большая нагрузка в их жизни. Скрытые дефекты, о которых никто не знал, вылезают именно тогда. Плюс время. Перестроение массива на больших дисках идёт сутки и больше, и всё это время у вас нет никакой защиты. Что делать вместо. Для четырёх и более дисков большого объёма…

Формула простая: три копии данных, на двух разных носителях, одна — вне площадки. Она старая, но именно её нарушение стоит компаниям бизнеса. Три копии — это оригинал и две копии. Не оригинал и одна: когда во время восстановления выяснится, что копия битая, запасного варианта уже не будет. Два носителя — потому что одинаковые диски из одной партии имеют привычку умирать вместе, особенно в одном рейде. Одна вне площадки — потому что пожар, залив и шифровальщик уносят всё, что находится в одном помещении и в одной сети. Копия, доступная по сети с рабочим паролем, шифруется вместе со всем оста…

Скрипт руками отрабатывает идеально, из cron — тишина. Причина почти всегда одна: окружение. Cron запускает задание с минимальным набором переменных. Нет вашего PATH, нет переменных из профиля, нет виртуального окружения Python, домашний каталог может быть другим. Скрипт, который зовёт mysqldump без полного пути, из cron просто не находит его. Что делать. Указывать полные пути ко всем командам. Явно задавать переменные внутри скрипта, а не надеяться на профиль. Или в первой строке задания указать окружение через env. Второе по частоте — вывод. Cron отправляет его почтой, а почта не настроен…

Классика: systemctl start падает с невнятным «job failed», и дальше начинается гадание. Порядок, который экономит время. Первое: systemctl status имя -l --no-pager. Смотрим не на красную строчку, а на последние строки вывода — там обычно настоящая причина. Второе: journalctl -u имя -n 100 --no-pager. Тут полный лог запуска. Если сервис перезапускается по кругу, добавьте -f и смотрите вживую. Третье, если в логе пусто: запустите то, что написано в ExecStart, руками от того же пользователя. Половина проблем — права на файл, отсутствующий каталог или переменная окружения, которой в systemd не…

Диск занят на 60 процентов, а система пишет «No space left on device». Первая мысль — сошла с ума. На самом деле кончились не байты, а inode. Каждый файл, каким бы маленьким он ни был, занимает одну запись в таблице inode. Их количество задаётся при создании файловой системы и не меняется. Миллион крошечных файлов — миллион inode при копеечном объёме. Проверяется командой df -i. Если в колонке использования стоит 100 процентов — диагноз готов. Кто обычно виноват: почтовые очереди, кэш веб-приложений, сессии PHP, забытые задания в /var/spool, каталог с миллионом мелких логов. Искать так: du…

Передача дел — момент, когда становится видно качество всей предыдущей работы. Что должно уйти вместе с доступом. Карта: какие машины, какие роли, какие адреса, что от чего зависит. Схема на одном листе полезнее двадцати страниц текста. Доступы: где хранятся, как получить, кто владелец у провайдера, регистратора, в облаке. Отдельно — что нужно поменять после передачи. Расписания: что запускается по cron и таймерам, что делает, куда пишет. Копии: где лежат, как восстановить, когда проверялись в последний раз. Известные особенности: почему здесь выключено автообновление, почему этот сервис…

Базовая настройка, которая экономит недели потом. Список короткий, но его редко выполняют целиком. Учётные записи и доступ: вход по ключам, root без прямого входа, fail2ban. Время: chrony и правильный часовой пояс на всех машинах одинаковый. Логи: постоянный журнал на диске, ротация, отправка на центральный сервер, если он есть. Мониторинг: место, inode, память, нагрузка, доступность сервиса, срок сертификатов. И проверка, что уведомления доходят до живого человека. Резервные копии: настроены, автоматизированы, проверены восстановлением хотя бы раз. Обновления безопасности: автоматически…