​​Хочу поговорить немного про rsync. Думаю, все линуксоиды знают эту утилиту. Я постоянно ее использую в ежедневной рутине при настройке серверов. То файлы перекинуть, то бэкап на скриптах наколхозить, то репликацию каталогов настроить и т.д.

Rsync представляет огромную опасность для прода, сравнимую с опасностью от неосторожного использования rm -rf / (у меня было разок 💀). Я думаю у каждого активного пользователя rsync найдется история факапа, связанного с ним. Думаю вы уже поняли, в чем тут дело.

Чаще всего rsync используется с ключом --delete для того, чтобы удалить все файлы на приемнике, которых уже нет на источнике, с которого мы тянем файлы. Это для того, чтобы получить актуальную копию. И горе вам, если вы перепутаете местами источник с приемником. Если у вас приемник пустой, то одной простой командой с rsync вы и источник обнулите.

Стоит ли говорить, что разок я так ошибся и теперь каждый раз очень внимательно проверяю синтаксис команды, которую собираюсь запустить. Мне повезло, что когда я удалял актуальные файлы сайта с прода, успел вовремя заметить и остановить команду. В итоге удалились старые медиа файлы из архива. У меня была вторая копия данных в другом бэкапе (у вас же тоже более одного бэкапа 😎), из которой я их восстановил. Никто даже не заметил проблем, так как сайт продолжал нормально работать.

Все то же самое относится к команде find, если используете ее для удаления файлов. Я сначала направляю вывод списка найденных файлов в консоль или отдельный файл. Проверяю, что там реально то, что я хочу удалить и только после этого удаляю или ставлю в скрипт с ключом --delete или -exec rm {} \;

Были такие факапы, когда удаляли нужные файлы?

Провел обновление Zabbix до версии 5.2 на одном из своих серверов мониторинга. Это была система на Centos 8. Так же протестировал на Debian 10. Все прошло штатно без каких-то проблем. Сразу написал статью по теме.

Хотел затестить и для Centos 7 то же самое, так как у меня много серверов на этой системе, но почему-то в репах нет пакетов для семерки. И на сайте Zabbix в разделе "Загрузка" пусто. В документации тоже инфа только для восьмерки. Какая-то непонятная ситуация. Надеюсь со временем пакеты для Centos 7 тоже подвезут.

https://serveradmin.ru/obnovlenie-zabbix-5-0-do-5-2/

#zabbix #статья

Старенькое видео на тему розыгрыша пользователей с помощью компьютера 🤡 Очевидно, что способ с дисководом уже устарел, так как современные компы в основном идут без него. А так же шутка со скриншотом рабочего стола в качестве фона слегка заезжена.

Но вот вариант с автозаменой текста в Word лично мне понравился. Безобидно и забавно. Я сам бы не придумал такое. Со звуками тоже можно неплохо пошутить, правда не уверен, что системные звуки можно так запросто менять, особенно звук логона.

Благодаря обаятельной рассказчице, видео смотрится легко и приятно. Мне понравилось, поэтому делюсь.

https://www.youtube.com/watch?v=o2PnxiYlPsk

#юмор

​​Хочу в выходные немного порассуждать и поделиться мыслями на тему железа и современного ПО. Помню ВАУ эффект, когда я первый раз поставил себе SSD диск и запустил Photoshot. Он открылся моментально, хотя на обычном hdd я секунд 10-15 ждал запуска. Сейчас у меня достаточно скоростной ssd и я те же 10-15 секунд жду запуска фотошопа.

Когда у меня появился первый смартфон на Android (думаю, это была еще версия 2), обновление программ на нем занимало 30-60 секунд. Софт весил сотни килобайт или до 1-2 мб. Обновлялось все буквально за несколько секунд. Запустил, вжух и все обновилось, так как интернет через wifi уже тогда был скоростной. Сейчас софт для смартфона весит по 50-100 мб и обновление всех программ занимает значительное время. Надо запустить обновление и на 5-10 минут отложить смартфон, чтобы дождаться завершения.

Казалось бы, такой огромный скачок в технологиях за последние 10-15 лет, но по факту для пользователя ничего не изменилось. Весь прикладной софт работает со схожей производительностью, если не хуже (привет chromium, фреймворк Electron и софт на его основе). Иногда мне хочется взять что-то старое и пользоваться им. Я даже пробовал так, но увы, слишком много проблем с устаревшим ПО. То тут, то там возникают неудобства, поэтому бросил эту затею.

Пошел по пути наименьшего сопротивления - везде, где можно, ставлю хорошие ssd и наращиваю оперативную память по максимуму. К сожалению, это не гарантирует тебе быструю работу все более тормозного софта.

Например, никак не ускорить работу почты gmail. Гугл постоянно ставит палки в колеса при использовании сторонних почтовых клиентов по imap, так что активно пользоваться ими неудобно. Думаю, скоро настанет момент, когда он его вообще отключит. Но при этом веб интерфейс очень тормозной и неотзывчивый, какой бы супер-пупер мощный компьютер ты не взял.

Понятно, что можно не использовать gmail, но тем не менее, тенденция налицо. От чего-то ты можешь отказаться, а где-то у тебя и выбора не будет. И чем дальше, тем хуже в этом плане. Например, попробуйте купить смартфон с размером экрана 4-5 дюймов. Это удивительно, но их вообще нет в продаже.

Наивных и доверчивых людей до сих пор обманывают, говоря, что капитализм это хорошо - конкуренция, качество, свобода и вот это вот все. А по факту мы видим практически полное доминирование монополий на рынке ИТ. И никакого выбора у нас уже нет. Для меня лично все это не новость, так как еще в юности читал книгу Джека Лондона - Железная пята, где описано все то же самое, только на другом технологическом укладе. Я вообще все его произведения читал по несколько раз, так что смело могу рекомендовать к прочтению в любом возрасте и любое произведение.

Посмотрим, к чему мы вы итоге придем с таким подходом. Предпосылок к перелому этой тенденции я лично сейчас не вижу. По крайней мере без каких-то внешних крупных изменений. Например, переход на новый технологический уклад в результате доступа к новым источникам энергии с плотностью в разы больше, чем есть сейчас.

​​⚠️ Регулярно сталкиваюсь с одной и той же проблемой при восстановлении из бэкапа или клонировании виртуальной машины. Не важно, для чего это делается и в каких условиях. В одной сети оказываются две виртуалки с одинаковыми MAC адресами.

Это приводит к сетевыми проблемам, причем не очевидным. Вас просто начинает время то времени отключать от rdp или ssh. Наблюдается нестабильная работа сети на виртуальных машинах с одинаковыми маками. Когда я первый раз с этим столкнулся, долго не мог понять, в чем проблема. Вроде все работает, но нестабильно. Потом все-таки догадался проверить mac адрес. Какое-то чутье помогло понять, что проблему надо искать там.

❗️ Так что важно не забывать менять у виртуальной машины MAC адрес, если клонируете ее. Я это делаю часто, в основном для проверки каких-то обновлений. Для этого восстанавливаю машину из бэкапа (заодно и бэкап проверяю), меняю ip адрес, подключаю к сети, спокойно и без спешки проверяю все, что надо, удаляю.

Сталкивался с подобной ошибкой в разных гипервизорах, так как она не привязана к ним. Ошибка чисто сетевая. Особых проблем не принесет, просто пакеты начинают скакать то к одной виртуалке, то к другой. В итоге сеть работает нестабильно, соединения рвутся.

🏃🏻‍♂️ Ускорение Wordpress

Периодически мне попадаются статьи на тему ускорения работы Wordpress. Чаще всего там фокусируются на кэширующих плагинах, сравнивая разные версии, платные, бесплатные и т.д. Как по мне, так это все пустое. Что там может принципиально отличаться в кэшировании на уровне плагинов? Кто-то умудряется даже продавать подобные плагины по подписке 😱

Я всегда действую просто и максимально эффективно, когда речь идет о контентном сайте со статическим содержимым.

1️⃣ Ставлю бесплатный кэширующий плагин WP Super Cache. Он формирует полноценные статические html страницы. Из настроек там стоит уделить внимание параметрам обновления кэша. Все остальное вторично.

2️⃣ Настраиваю отдачу сформированной плагином статики напрямую через nginx. Посетителям сразу же показываются готовые html страницы. Нет вообще запросов к тормозному бэкенду на php + mysql. Если хочется еще сильнее ускориться, собираю nginx с brotli. Получите +10-15% к сжатию по сравнению с gzip.

3️⃣ Настраиваю сжатие картинок, опционально в том числе и в webp. Использую EWWW Image Optimizer либо WebP Express.

Это дает максимальный эффект, закрывая вопросы ускорения процентов на 80-90. Все остальное добавит копейки и можно не заморачиваться, если полученный результат устроит. Немного по тестированию и ускорению сайта есть в моей статье - Оптимизация скорости сайта, аудит сайта.

🤝 Приветствую своих дорогих читателей. Я решил пройти видеокурс от slurm на тему ci/cd - https://slurm.io/ci-cd. Думаю, многие уже видели ранее анонсы этого курса в других админских каналах.

Ранее у меня уже был положительный опыт в этой школе. Я проходил у них обучение по kubernetes. У меня с нуля получилось освоить достаточно непростой инструмент. Даже несколько содержательных статей по этой теме удалось написать спустя пол года после обучения, хотя не практиковался в этой теме.

Здесь будет принципиально другой формат - онлайн обучение по графику, который выбираешь сам. На первый взгляд это более привлекательно, чем трехдневный интенсив, на который не так просто выделить время. Но посмотрим, что будет на практике. Удастся ли себя заставить заниматься систематически, получится ли так же эффективно освоить материал?

По окончанию курса напишу свой отзыв как о самом курсе, так и о подобном формате обучения. В последнее время он стал очень популярен. Заодно будет интересно сравнить свои разрозненные знания самоучки по ci/cd с систематизированным курсом от профильных специалистов.

​​Любопытное наблюдение. Провел тут недавно опрос про невнимательность и ошибки при использовании rsync. И вот что удивительно. Результаты опроса диаметрально противоположные для аудитории VK и Telegram. Я даже не понял, с чем это связано.

В ВК сидят такие крутые админы, что редко ошибаются? А может просто rsync не используют, поэтому и ошибок с ним связанных нет? И "нет" выбирали как раз те, кто не пользуется и соответственно не ошибаются? Или дело в разной формулировке вопросов? Хотя при их составлении я подразумевал одно и то же.

Наглядный пример, как можно манипулировать статистическими данными. По разному формулируя вопрос и подбирая определенным образом варианты ответов, можно получать диаметрально противоположные результаты. У меня это невольно получилось.

​​Раз уж у нас сегодня внеплановый выходной, продолжаем околоайтишную тематику. Недавно я прилично удивился, увидев системный блок более чем за 5 млн. рублей (стартовая цена на Audi Q8). До этого мне приходилось видеть системники за 1-2 млн. и тогда мне казалось, что это предел. Как же я ошибался.

🔥 Вот он - наш чемпион:

- 28-ядерный процессор Intel Xeon W с тактовой частотой 2,5 ГГц, ускорение Turbo Boost до 4,4 ГГц;
- 1,5 ТБ (12 модулей по 128 ГБ) памяти DDR4 ECC;
- Два графических процессора Radeon Pro Vega II с 2 модулями памяти HBM2 по 32 ГБ на каждом;
- SSD‑накопитель ёмкостью 8 ТБ;
- Ускоритель Apple Afterburner;
- Корпус из нержавеющей стали, с колёсиками.

Если забудете взять колесики, можно купить отдельно за 69990. В комплекте будет кабель питания (еще не догадались убрать) и бесплатная доставка.

Я не буду здесь писать, как любят многие не имеющие возможность подобное приобрести, что эта штука не стоит своих денег, можно собрать дешевле и т.д. По мне так это крутая штука и если бы была возможность, я бы приобрел. Ничего красивее, функциональнее и производительнее для рабочей станции видеть не приходилось. Теперь на компьютеры HyperPC, похожие на новогодние гирлянды, даже смотреть не хочется.

Вы знали, что существуют такие дорогие персональные компьютеры?

​​Недавно обращался в тех. поддержку Яндекса по поводу работы их почты с прикрепленного домена. Много лет все было в порядке, а с недавнего времени стала через раз доставляться в gmail. Тот футболил ее, как похожую на спам, хотя похожа она не была.

В DNS не была добавлена запись с DKIM, поэтому тех. поддержка рекомендовала ее добавить. Вообще, я думал с Яндекса и так траст большой, должно и без dkim работать. Оно и работало всегда, а потом перестало.

Но не суть. Рассказать то я хотел не об этом. Тех. поддержка для проверки корректности настроек записей прислала ссылку на онлайн сервис - https://digwebinterface.com. Хотя подобных сервисов навалом, конкретно тут понравилось вот что:

1️⃣ Можно сформировать ссылку, в которой уже будут заполнены различные параметры. Как раз подобную ссылку тех поддержка и отправила.

2️⃣ Можно вывести синтаксис утилиты dig и проверить результат где-то на другом linux сервере.

3️⃣ Можно быстро выбирать из списка наиболее популярные dns серверы.

В общем, добавил этот сервис в закладки, буду пользоваться им. Раньше использовал другой, но этот лучше.

Забавная переозвучка на айтишную тематику фрагментов фильма "Волк с Уолл-стрит". Странно, что это видео с более чем 3-мя миллионами просмотров раньше мне не попадалось. Посмотрел первый раз. Не скажу, что прям сильно-сильно понравилось, но в целом качественно сделано. Некоторые перлы особенно хороши.

- Да, малыш, сделай мне больно!
- Goto в коде программы.
- Ааааа, это чересчур.

- Заходим мы, значит, к ней, и тут она показывает новенький Invasion.  Аэрография, подсветка, водяное охлаждение...
- Я всё подключил, поставил для теста Батлу. И ты не поверишь - на ультрах стабильно 60 fps.
- Эх ты, а говоришь, не тупой - Ведьмака надо было ставить.

и т.д. В общем, рекомендую к просмотру.

https://www.youtube.com/watch?v=WT82dSzZTKs

Я уже много лет использую систему для совместной работы и редактирования документов onlyoffice. По сути, это аналог Google docs, только его можно установить на свой собственный сервер. При этом есть полнофункциональная бесплатная версия, которая закрывает многие типовые потребности в работе с документами.

У меня накопился некоторый опыт по эксплуатации этой системы, поэтому решил поделиться и оформить в статью. Возможно будет развитие темы.  

https://serveradmin.ru/ustanovka-i-nastrojka-onlyoffice/

Посмотрел интересное выступление PostgreSQL на K8s в Zalando: два года в бою и решил поделиться основными моментами, на которые обратил внимание лично я. Меня интересует тема баз данных, потому что считаю ее одной из ключевых в построении отказоустойчивых систем. И при этом хуже всего проработанной, так как до сих пор нет простого, удобного, надежного  кластерного решения. Приходится пробовать разные варианты и везде соглашаться на какие-то компромиссы.

В видео рассказывается, как крупная компания переехала в кластер Kubernetes и перенесла туда почти все свои базы данных Postgresql. Вот на что обратил внимание лично я:

1️⃣ Внедрение микросервисов привело к тому, что появились сотни отдельных кластеров БД под каждый микросервис. За удобство разработки пришлось заплатить такой ценой. Можно представить, какой там перерасход железа идет на все эти микросервисы и абстракции вокруг них. Да еще и отдельный кластер для каждого сервиса. Хоть они чаще всего очень маленькие по объему, но тем не менее.

2️⃣ Для самых нагруженных и объемных кластеров приходится как и раньше использовать традиционные кластера на железе. То есть в итоге имеем переусложненную инфраструктуру под базы данных, где присутствуют кластеры в кубернетисе и на железе одновременно.

3️⃣ Для k8s есть вполне надежный failover postgresql - patroni.

4️⃣ Администраторам кластеров баз данных приходится регулярно вставать по ночам и решать проблемы. Зачем так жить 😱

#видео

Тайм-менеджмент для системных администраторов

Я давненько уже написал обзор книги на тему тайм менеджмента для системного администратора. Думаю, многие подписчики канала ее не читали. Решил напомнить про статью и порекомендовать прочитать.

От традиционных подходов в этой области системных администраторов отличает то, что они постоянно отвлекаются на текущие задачи и это мешает им работать над долгосрочными проектами. Автор книги прорабатывает этот момент.

Со времени написания статьи у меня мало что поменялось в организации рабочего процесса. Я по прежнему придерживаюсь озвученных принципов и в целом доволен, как удается решать задачи. Советую очень внимательно и вдумчиво прочитать мою статью. Я потратил на нее много времени, постарался хорошо проработать и дать самую суть. Применение на практике советов из статьи вам помогут улучшить свою производительность.

Вообще, самодисциплина и умение организовать себя на продуктивную деятельность - основа успеха любой деятельности. Какой бы ты умный специалист не был, но если регулярно что-то забываешь или динамишь заказчиков, ничего путного не получится.

Ведешь где-то отдельно список дел?

Разбирался на днях с редиректами в Nginx. Раньше особо не придавал им значения. Работают, да и ладно. Но как оказалось, иногда одновременно по несколько 301-х редиректов срабатывают, что не очень хорошо для SEO. Рассмотрел несколько типовых ситуаций, где несколько редиректов объединяются в один.

https://serveradmin.ru/nginx-redirect/

​​Вы знали, что существует аналог Teamviewer, только для консоли linux? Я буквально на днях узнал и попробовал - teleconsole. Использовать очень просто. Скачиваем и распаковываем на оба сервера бинарник с github:

# wget https://github.com/gravitational/teleconsole/releases/download/0.4.0/teleconsole-v0.4.0-linux-amd64.tar.gz
# tar xzvf teleconsole-v0.4.0-linux-amd64.tar.gz

Теперь на сервере запускаем утилиту:

# ./teleconsole

А на клиенте подключаемся, используя полученный id:

# ./teleconsole join eu473dd9d49ca17d1f4ccbbc8

В консоли сервера и клиента видны выполняемые в любой из сторон команды. Ко всему прочему, подключиться к консоли можно прямо через браузер по ссылке вида https://eu.teleconsole.com/s/473dd9d49ca17d1f4ccbbc87fcecf80a45043da7

​​При настройке нового linux сервера я всегда ставлю на него утилиту screen. Как минимум для того, чтобы запускать обновление только через screen и рекомендую вам поступать так же. Обрыв соединения во время обновления может привести к проблемам вплоть до того, что после ребута сервер не загрузится. Например, из-за того, что корректно не соберется обновленный initramfs.

Так же с помощью screen я немного упрощаю управление серверами, где я единственный администратор. При подключении к серверу у меня запускается screen с тремя окнами 1, 2, 3. Первое окно автоматически переходит в каталог /, второе в /etc, третье в /var/log. Я осмысленно назвал эти окна: Main, etc, logs соответственно. Внизу находится строка состояния, в которой отображен список всех открытых окон и подсвечено активное окно.

Переключаюсь между окнами с помощью стандартных горячих клавиш screen: ctrl+a 1, ctrl+a 2, ctrl+a 3. Я специально изменил нумерацию, чтобы она начиналась не с 0 по-дефолту, а с 1. Так удобнее на клавиатуре переключать окна. Кнопка 0 находится слишком далеко от 1 и 2.

А вы что используете, screen или tmux?

Нужен или нет swap?

Часто вижу обсуждения на тему того, нужен ли сейчас swap и стоит ли его подключать в систему. Я лично всегда подключаю swap небольшим отдельным файлом, если нет четких требований на этот счет. Почему файлом, а не разделом? Вопрос чистого удобства. Файлами проще оперировать, а реально используется swap редко, так что вопрос разницы быстродействия не актуален.

Очень подробно эта тема рассмотрена в известном переводе - https://habr.com/ru/company/flant/blog/348324/ Я не буду повторять и пересказывать материал, рекомендую его прочитать самостоятельно.

На основе этого и некоторых других материалов, я для себя давно решил, что в целом со swap система будет работать немного стабильнее, поэтому по умолчанию его оставляю.

А вы подключаете swap на linux сервере?

​​Есть одна интересная команда, которая принудительно и моментально отправляет linux сервер в перезагрузку. Эффект аналогичен нажатию на кнопку reset:

echo b > /proc/sysrq-trigger

Несколько раз приходилось пользоваться в недавнем прошлом, когда пытался перезагрузить виртуальную машину с Zabbix Server. Отправлял ему штатную команду reboot и он просто зависал минут на 30-60 на этапе завершения работы. Там то ли подключения к базе подвисали, то ли что-то еще, уже не помню точно. У меня даже в комментариях к статьям по zabbix упоминали эту проблему. После очередного обновления все прекратилось.

Разница с тем же reboot как минимум в том, что reboot это обычный бинарник на диске. Если с ним какие-то проблемы, либо он загружен так, что ни на что не отвечает, штатный reboot не состоится, либо будет долго исполняться. К тому же reboot пытается корректно отключить примонтированные диски. Очевидно, что если с одним из них проблемы, то тоже будет все тупить и подвисать.

В случае же с приведенной командой, если вы уже находитесь в какой-то загруженной оболочке, сервер моментально перезапустится.

Знали про такую возможность?

​​Хочу затронуть вечную тему про бэкапы, но немного в нестандартном ключе. Мне регулярно приходится выполнять задачи, результаты которых неплохо было бы забэкапить. Иногда это не входит в мои обязанности. Либо бывает так, что заказчик откладывает решение вопроса с бэкапами, не придавая ему большого значения.

Случается и такое, что ты как только мог донес информацию о важности бэкапов, о том, что так, как сейчас, оставлять дела нельзя. Но дело не сдвигается с мертвой точки и бэкапов нет. Здесь я знаю, что многие плюнули бы на это дело при наличии письменных подтверждений того, что они сделали все, что могли и обо всем предупредили.

Даже в таких ситуациях лично я всегда стараюсь забэкапить информацию пусть даже своими средствами. И это несколько раз выручало моих заказчиков. Один случай вообще показательный был. Я в течении нескольких недель настраивал большую систему мониторинга. Сразу же предупредил, что надо бэкапить виртуальную машину, где все происходит, чтобы не потерять результат моего труда. Несколько раз об этом напоминал. Бэкапы в итоге делали.

⚡️ Но в один прекрасный день все упало и умерло. В том числе и инфраструктура с бэкапами. Я не вдавался в подробности, что в итоге было. Вроде СХД загнулась, где все мое хранилось. Спасло положение то, что я всегда в конце трудового дня выгружал к себе все шаблоны, карты, схемы, хосты и т.д., с которыми работал в zabbix. Имея эту информацию, удалось малой кровью все восстановить и продолжить настройку.

Суть того, что хочу донести, вот в чем. Вы специалист, а не заказчик. Он может по своему незнанию или заблуждению не придавать должного значения бэкапам, так как с подобными авариями может вообще никогда не сталкивался и считает их вероятность ничтожной. Но не вы, работающий в том числе и с авариями на потоке. Если для вас не накладно в денежном выражении, все равно как, но забэкапить его, сделайте это. Когда все упадет, даже бэкап недельной или месячной давности будет на вес золота.

#заметка #backup