Несколько дней назад у меня была публикация по быстрой подготовке конфига postgresql с помощью готового web сервиса. В комментариях были вопросы про то же самое, только для mysql.

Лично я основные параметры конфигурации mysql сервера выставляю на глазок сам, так как чаще с ним работаю и уже привык. А потом в процессе эксплуатации использую вот этот скрипт - https://github.com/major/MySQLTuner-perl

В первую очередь он полезен в определении максимального потребления оперативной памяти сервером mysql. Если он будет пытаться занять больше памяти, чем есть на сервере, его будет грохать OOM Killer.

Более подробно вопрос тюнинга mysql с помощью этого скрипта я рассматривал в разделе статьи - https://serveradmin.ru/bitrixenv-optimizacziya-nastroek-servera-pod-sajt-na-bitrix/#_Mysql

Для нагрузочного тестирования сайта я обычно использую yandex.tank. Это эффективный, функциональный, но при этом простой в использовании и бесплатный инструмент. Хотел сначала про него заметку написать, но, как это часто бывает, получилась статья.

В статье даны не только рекомендации по использованию танка в нагрузочных тестированиях, но и даны советы, как от него защищаться. По сути он представляет из себя отличный инструмент для dos атак. Неподготовленные веб сервера и сайты он кладет на раз. Так что будьте внимательны с ним и не шалите ☝️

https://serveradmin.ru/primer-nagruzochnogo-testirovaniya-sajta-s-yandex-tank/

​​А вы знали, как работает проверка интернета в Windows? Я думаю, всем знакома надпись рядом с сетевым соединением: "Подключение к интернету отсутствует" или "No Internet" в английской версии. Называется эта штука - Индикатор состояния подключения к сети или Network Connectivity Status Indicator (NCSI).

Я только недавно узнал, как эта проверка работает. Выполняются два действия. Если первое завершено успешно, то считается, что интернет есть. Если в первом случае неудача, выполняется дополнительная проверка.

1️⃣ Выполняется DNS lookup адреса www.msftconnecttest.com и отправляется HTTP GET запрос по адресу http://www.msftncsi.com/ncsi.txt. Скачивается текстовый файл. Его можно и вручную проверить, если интересно посмотреть, что там. Если оба действия выполнены корректно, значит все ОК, интернет работает.

2️⃣ Выполняется DNS lookup адреса dns.msftncsi.com и проверяется ответ. Он должен быть 131.107.255.255.

Подозреваю, что dns имена и возвращаемые ip адреса могут меняться. Но принцип, судя по всему, особо не меняется. Я немного погуглил тему и убедился, что вроде бы все так и есть.

Теперь понял, почему иногда интернет есть, а винда пишет, что его нет. Просто не проходят ее собственные проверки. А причины этому могут быть разные. Может админ тупо заблокировал все микрософтовские ip адреса. Раньше было модно так делать, чтобы винда не обновлялась сама. А может и сейчас кто-то так делает, хз.

Компания Mikrotik регулярно проводит мероприятия под названием MUM (MikroTik User Meeting). Из названия понятно, что это встречи пользователей микротиков. Подобные мероприятия проводятся по всему миру, в том числе и в России.

Предыдущая встреча в Москве была в сентябре 2019 года. Доклады и записи выступлений можно посмотреть по ссылке - https://mum.mikrotik.com/2019/RUM/agenda/ru. Информация там обычно очень интересная и актуальная. Можете оценить даже по заголовкам выступлений.

Я иногда просматриваю презентации всех выступлений. Они на английском языке в основном, поэтому все понятно. К примеру, информацию по NCSI из предыдущей заметки я случайно узнал из одной презентации, продемонстрированной в последнем MUM в Индонезии. Там, кстати, приведен интересный пример проверки интернета на микротиках с помощью скрипта, который реализует схожую логику с NCSI.

В комментариях к одной из заметок со мной поделились ссылкой на подборку с инструментами по нагрузочному тестированию по HTTP - https://github.com/denji/awesome-http-benchmark. Мне показался полезным список, поэтому делюсь с вами. К каждому инструменту есть ссылка на описание.

Из предложенного списка лично мне знакомы 2 инструмента - всем известный ab и siege. Последний я даже использовал когда-то давно для написания статьи со сравнением производительности php 5.4, 5.6 и 7.0. Статья уже давно не актуальна, но может кому-то будет интересно почитать, как я это делал - https://serveradmin.ru/ustanovka-i-obnovlenie-php-7-na-centos-7/ В сравнении в итоге победил с огромным отрывом статичный кэш :)

📆 Завтра, 10-го декабря в 10:00 будет очередной вебинар Zabbix, тема которого меня заинтересовала - Работа с Zabbix посредством API: ваша первая интеграция.

Я не использую api zabbix, так как нет масштабных задач, которые нужно автоматизировать. Посмотрю завтра вебинар, может увижу что-то полезное, что пригодится и в моих задачах.

Регистрация - https://us02web.zoom.us/webinar/register/WN_q8o6xYFrSqKjWRiGbyCMSg

Записей этих вебинаров нет, сами выступающие не записывают ничего, и даже часто презентации не предоставляют. Так что спрашивать об этом в комментариях нет смысла.

​​Очередная заметка с информацией по поводу почтового сервера. Как я уже говорил ранее, я много с ними работаю, настраиваю, внедряю. У очередного клиента перестала отправляться почта на сайте с помощью Yandex. Домен был прикреплен к их почтовому сервису.

Ошибка при отправке была следующая:

550 5.7.0 Sender or From header address rejected: not owned by authorized user

При этом отправитель точно соответствовал пользователю, под которым авторизовывались. Написали запрос в тех. поддержку Яндекса. Ответ несколько удивил:

Сервера Яндекс.Почты не предназначены для отправки автоматических уведомлений и любых рассылок. К подобным сообщениям применяются ограничения.

То есть использовать почту, прикрепленную к яндексу, на сайте нельзя. Он всякие уведомления о регистрации, заказах и т.д. отправляет. Вообще, я всегда и активно использовал в этом качестве почту Яндекса, но последнее время несколько раз сталкиваюсь с одним и тем же - почта не отправляется.

Я так сходу и не придумаю бесплатных альтернатив для таких случаев. Можно пробовать почту для домена от mail ru, но как-то не нравится она мне. А настраивать свой сервер только для отправки почты с сайта не всегда целесообразно, особенно если проект очень маленький и объем отправлений не большой.

Раньше Яндекс был не против такого использования, но похоже что-то изменилось. По-тихому выдавливают из этой ниши. Чем-то на историю с Яндекс.Диском и webdav похоже, когда он просто в какой-то момент начал как-будто сам по себе очень нестабильно работать и полноценно пользоваться им стало затруднительно.

А как вы решаете подобные задачи с почтой? Что используете, помимо своего почтового сервера?

​​Мне тут посоветовали программу EssentialPIM в качестве органайзера со встроенным календарем, задачами, заметками и вот этим вот всем. Сами разработчики называют его менеджером персональной информации. Он даже пароли умеет хранить.

Я как увидел интерфейс portable версии, у меня аж олдскулы свело. Выглядит старомодно, но при этом функционально. Первое впечатление было положительное. Мне надоели браузерные сервисы, хочется пользоваться программами.

Скажу честно, в работе его не пробовал, так как просто нет времени. Загружен текущими делами и заботами. Плюс, недавно активно Trello изучал и перенес туда часть своих задач. Понравился календарь с бесплатным расширением функционала Planyway. Я там план публикаций в каналы веду.

Сейчас нет сил пробовать новый инструмент, но с вами решил поделиться. Может кому-то зайдет. Там есть и офлайн вариант работы, и синхронизация с облаком. Мне лично нравится идея все замкнуть на portable программу и хранить на облачном диске.

​​Вы хорошо понимаете значение метрики в Linux под названием Load Average? Традиционно считается, что она показывает загрузку системы. Кто-то думает, что это загрузка процессора. На самом деле ни то, и ни другое. Вообще, это такая таинственная метрика, что иногда мне кажется, я сам толком не понимаю, что она значит и как считается.

Например, можно зайти на сервер, увидеть LA под 100 и при этом заметить, что процессор не нагружен вообще. Более того, вообще не понятно, кто или что нагружает систему. А это у вас просто дисковая подсистема не справляется с нагрузкой.

Или еще пример. У вас на сервере LA в районе 20. Кажется, что много и надо разбираться, в чем дело. Но есть еще один факт - на сервере 36 ядер. И вроде как все в порядке, рабочая нагрузка, хоть и выше средней.

То есть метрика неоднозначная, которая сама по себе не дает понять, с чем конкретно проблема. Ко всему прочему, она еще и изменяется не линейно, а экспоненциально. То есть не верно считать, что load average за минуту включает активность только за последнюю минуту, но в основном, конечно, её.

Для однопроцессорной системы понять логику измерения load average можно с помощью картинки во вложении. Для простоты восприятия la сравнивают с транспортным потоком. Значение более 1.00 означает наличие очереди на въезде на магистраль. Размер этой очереди будет равен превышению единицы. Например, значение 1.70 показывает, что в очереди стоит 70% от числа машин, находящихся на магистрали.

В ядре linux процессы, выполняющиеся в данный момент, это машины на магистрали, а процессы, ожидающие очереди на исполнение, это машины в пробке на въезде на магистраль. Причем очередь из процессов может образовываться не только из-за загруженности процессора, но и других компонентов системы. Например, подсистемы ввода-вывода (диск, сеть).

А теперь добавьте сюда многоядерность, многопроцессорность, HyperThreading и попробуйте интерпретировать значения load average. Это нетривиальная задача. Так что надо аккуратно относиться к этой метрике.

Чтобы получше разобраться, как все это работает и что считает, рекомендую статью - https://habr.com/ru/post/260335/ Автор залез в исходники ядра, чтобы точно понять, что конкретно показывает load average.

Если у вас есть потребность в логировании всех команд пользователя linux, которые он вводит в консоли, то можно воспользоваться библиотекой snoopy. Ее отличает в первую очередь простота и скорость настройки.

Живет она в репе на гитхабе. Ставится либо из пакетов, если есть в системных репозиториях, либо из исходников. Последний способ универсальный и подходит почти для всех linux систем.

# wget -q -O install-snoopy.sh https://github.com/a2o/snoopy/raw/install/install/install-snoopy.sh
# chmod 755 install-snoopy.sh
# ./install-snoopy.sh stable

По умолчанию, он логирует кучу всевозможных команд от системных процессов. Если вам все это не нужно, то можете оставить во такой конфиг /etc/snoopy.ini

[snoopy]
filter_chain = "only_tty"
output = file:/var/log/snoopy.log

Snoopy будет логировать только команды консоли. На всякий случай не забудьте потом настроить ротацию этого файла.

Остается только активировать snoopy и перезагрузить сервер.

# snoopy-enable
# reboot

После этого в лог файл будут записываться все команды пользователей. Только учтите, что root без проблем может очистить этот файл. Так что это тема не про безопасность. Если надо гарантированно сохранять логи, то их нужно сразу же пересылать на удаленный сервер, на который нет доступа с текущего.

Я тут прикольный канал нашел с айтишным юмором. Он местами специфичен и не очень смешной, но в целом все равно забавно. Вот этот ролик про удаленную работу дома зашел, рекомендую :)

https://www.youtube.com/watch?v=_F-_2s6SJPU

Там еще про devops неплохие ролики.

​​Тут на дня прилег хостер TimeWeb на несколько часов. Причем так крупно прилег. Не работал ни телефон, ни NS сервера, ни сам сайт хостера. Вообще все отрубило. Он потом написал пояснения, что лег корневой маршрутизатор, а когда включили запасной, оказалось, что с ним ничего не работает 🤷🏻‍♂️

Это предисловие, рассказать хотел не об этом. У меня есть привычка, смотреть вакансии компаний, с которыми я так или иначе взаимодействую. По ним можно очень быстро узнать, какое качество обслуживания и вообще уровень специалистов тебя ожидает.

Пошел на hh и посмотрел вакансии Timeweb. Из технических вакансий там было только две - программист python и специалист технической поддержки Linux. Я не поленился, зашел в описание вакансии и посмотрел требования. Он должен знать linux, писать скрипты, работать в консоли, разбираться в ошибках и т.д. То есть нормальный такой линукс админ средней руки.

Как думаете, какая для него объявлена зарплата? 80-100 т.р.? Увы, нет - от 35 000 до 50 000 руб. Я, конечно, понимаю, что это не те люди, которые проектируют и поддерживают инфраструктуру. Но тем не менее. Это же очень мало. За эти деньги даже нормального эникея на винду найти затруднительно.

Зато в других вакансиях на зп не экономят:
▪ Product Manager от 180 000 руб.
▪ Product Marketing Manager до 250 000 руб.
▪ Продуктовый маркетолог от 130 000 руб.
▪ IT Sales manager/менеджер по продажам до 200 000 руб.

Их вакансии даже уважительно на английском написали, не то что какие-то там сисадмины или разработчики.

Разработчику python и linux админу предлагают зарплату ниже, чем всевозможным менеджерам и маркетологам. Из этого можно осторожно сделать вывод, что уклон идет в продажи, а не поддержку и надежность. И мне почему-то кажется, что это типовая картина для современного бизнеса. Конкретно Timeweb я взял, потому что глаз на него упал из-за его падения. Каких-то личных претензий я к нему не имею и негатива о нем не слышал. Прошу за антирекламу не считать.

​​Думаю, все уже в курсе про изменения, которые ожидают в скором времени CentOS. Для меня это оказалось ударом ниже пояса. И дело не в том, что я не вижу других подходящих дистрибутивов Linux. Я все свои процессы уже перестроил на Centos 8. Обновил инструкции, кое-где сделал миграцию. Еще больше миграций запланировал на эти новогодние праздники. Все новые установки последние пол года делал на Centos 8.

И теперь без всяких предупреждений срок поддержки Centos 8 сокращают до конца 2021 года. При этом, для Centos 7 поддержка сохраняется до 24-го. Какая-то изощренная подлость. Объявили бы об этом заранее, во время релиза Centos 8 и никаких проблем бы не было ни у кого. Все бы успели подстроиться и спланировать свои миграции. А сейчас как гром среди ясного неба.

Я сейчас завис в состоянии неопределенности, на что переходить и какая судьба ожидает CentOS. Для тех, кто до конца не понял, какие изменения произошли, поясню. Раньше разработка RHEL двигалась в таком направлении: Fedora (альфа) -> Centos Stream (бета) -> RHEL (релиз) -> Centos. По факту Centos была максимально стабильной системой. Теперь ее просто убирают и оставляют только Centos Stream в качестве бета системы для RHEL.

Пока трудно судить о стабильности Centos Stream. Может так оказаться, что она окажется вполне нормальной системой для сервисов общего назначения (почта, web сервер и т.д.) Кто-то даже сейчас умудряется использовать Fedora Server и называть его вполне стабильным. К тому же у Centos Stream не будет номерных релизов, она будет обновляться непрерывно. В каких-то случаях это может быть удобным. Но все, опять же, зависит от стабильности такого похода в данном конкретном случае.

Всегда есть запасной вариант в виде старого и надежного дистрибутива Debian. Лично я смотрю пока на него. Ну и подождать надо, что выйдет из проекта Rocky Linux. На дистрибутив от Oracle лично я переходить не хочу. Думаю, что рано или поздно они тоже какую-нибудь подлянку сделают.

Лично у меня сейчас проблема одна - какую систему ставить на новых проектах. Понятно, что не Centos 8. Выбираю из Centos 7 и Debian 10. А вы что сейчас ставить будете? Надо до нового года определяться.

​​Отличный сервис по проверке работы почтового сервера - mail-tester.com. Постоянно им пользуюсь. Достаточно просто отправить письмо со своего сервера на специально сформированный ящик и дальше смотреть отчет.

Сервис проверяет следующие параметры:
◽ Настройку DKIM, SPF, DMARC
◽ Все необходимые DNS записи, в том числе PTR
◽ Наличие вашего сервера в черных списках
◽ Контекстные факторы (форматирование, картинки, наличие List-Unsubscribe и т.д.)
◽ Анализ вашего письма с помощью SpamAssasin

По каждому пункту можно посмотреть комментарии и конкретную информацию по существу. Например, заголовки писем, ошибки в DNS записях и т.д. Если проблемы есть, они будут отражены, и этой информации будет достаточно для исправления.

Сервис хорошо подходит для того, чтобы продемонстрировать заказчику, что вы все сделали корректно и сервер готов к работе. Бесплатное использование допускает не более 3 проверок в сутки для одного домена, так что не спамьте запросами. Используйте только для итоговой проверки.

Некоторое время назад я участвовал в разработке системы мониторинга, установленной на Astra Linux. У меня накопился некоторый опыт работы с этой системой. Если вы не используете уникальную мандатную систему управления доступом, разработанную для этой системы, то никаких принципиальных отличий от Debian 9 не будет. В настоящий момент Astra Linux использует в качестве основы эту систему.

Основное отличие будет в том, что у Астры свой репозиторий. Ну и плюс софт очень старый, так как Debian 9. В стандартных репах нет даже php 7.2, только 7.0. Так что преодолевать трудности предстоит именно с этим - искать свежие пакеты, ставить их, разрешать проблемы зависимостей.

В статье я ставлю последнюю версию Zabbix 5 на Astra Linux. Мне, кстати, в Астре понравилось графическое окружение, хотя работал я исключительно в консоли. Но в проекте было полно серверов с этой системой, в том числе с полноценным рабочим столом.

https://serveradmin.ru/ustanovka-zabbix-na-astra-linux/

​​Меня часто спрашивают пользователи после настройки почтового сервера, как установить свой аватар в письмо. Они видят аватарки в ящиках публичных почтовых сервисов и думают, что их можно настроить так же, как подпись к письму. Я сам долгое время не понимал, как это работает, просто не придавая значения этому вопросу.

Одно я знал точно, аватары к почтовым протоколам smtp, imap, pop3 не имеют никакого отношения. За их отображение отвечает почтовый клиент. Именно сами почтовые сервисы решают, какой аватар они отобразят в интерфейсе почтового клиента. Это могут быть картинки, фотки, первые буквы имени, фамилии или что-то другое.

Например, вы можете в Яндекс.Паспорте настроить свой аватар. Ваша почта, отправленная с ящика яндекс на другой ящик яндекса будет отображаться с вашим изображением. Но эта же почта, отправленная на gmail будет без изображения. Сервис gmail ничего не знает про аватар в службе яндекса.

Какие-то сервисы автоматически подтягивают аватары с очень популярного сервиса gravatar.com. Можете там зарегистрироваться с вашим почтовым ящиком и настроить аватарку. Она много где будет подтягиваться в привязке к вашей почте. Кто-то аватаром ставит favicon домена, к которому принадлежит ящик.

Таким образом какого-то гарантированного решения по почтовому аватару не существует. Как отобразить ваше письмо, решает исключительно почтовый клиент получателя. Вы этим не можете управлять.

​​Мне в одном из комментариев посоветовали посмотреть на необычную wiki - https://wiki.js.org. Я заинтересовался и попробовал. Штука интересная. Можно поставить как из пакетов, так и в докере. В документации есть готовый docker-compose для нее. То есть запустить все это дело можно очень просто и быстро.

Системные требования:
◽ 1 CPU, 1G RAM
◽ БД: MySQL, PostgreSQL, MS SQL Server, SQLite 
◽ Node.js 😩
◽ Web сервер не нужен

Выглядит современно, можно, молодёжно. Так как wiki сама себе веб сервер, лучше ставить ее за прокси типа nginx или haproxy.

Не знаю, насколько продукт зрелый и готов для production. Но если вам надо быстро развернуть wiki для внутренних нужд, рекомендую обратить внимание. Ставится быстро, настроек особо не требует. Сразу готова к работе. Есть несколько вариантов редакторов (wiki, markdown, wysiwyg)

Из основного функционала есть все, что обычно ожидаешь от wiki и даже больше - ролевая модель прав доступа, ssl, api, отправка почты, разные поисковые движки, языки, темы и т.д.

​​Недавно я писал заметку про проблемы с Яндекс.Почтой, если ее используешь для отправки писем с сайта. Это то, с чем столкнулся я, но когда стал разбираться в теме, оказалось, что дело не только в сайтах. Яндекс в принципе не разрешает использовать его бесплатную почту для домена кроме как для общения людей между собой. Об этом явно написано в его правилах.

Для меня информация была неожиданной, так как я очень активно использую эту почту почти во всех небольших проектах, как своих, так и чужих. Это реально удобно. Но последнее время я понял, что данный инструмент больше не подходит для подобных задач. Проблемы посыпались со всех сторон.

В еще одном проекте столкнулся с тем, что почта перестала отправляться. При попытке авторизоваться в ящике через браузер, получил уведомление о том, что он заблокирован из-за подозрительной активности. Для решения вопроса и разблокировки предлагается указать номер телефона, для получения на него смс. В итоге так и сделал, ящик заработал. Но сами понимаете, для каждого ящика в Яндекс.Почте указывать работающий телефон это слишком сложно.

В комментариях к прошлой заметке мне посоветовали сервис sendpulse. У него есть бесплатный тариф с ограничением в 12000 писем в месяц и не более 50-ти писем в час. Для небольшого сайта этого вполне достаточно. При этом не обязательно отвязывать домен от Яндекс.Почты, если вы ее используете. Для отправки почты через sendpulse надо сделать следующее:

1️⃣ Зарегистрироваться в сервисе, выбрать бесплатный тарифный план. Дождаться ручной модерации учетной записи.
2️⃣ Добавить свой домен, для которого вы будете выполнять отправку почты. Для этого домена вам сформируют DKIM.
3️⃣ Добавляете dkim ключ и обновляете spf запись, добавив туда записи о sendpulse.
4️⃣ Настраиваете на сайте отправку почты через smtp сервер sendpulse.

Менять mx записи не нужно. Ваша почта на Яндексе или где-то еще будет работать так же, как и раньше. Вы просто настраиваете отправку через sendpulse.

Я уже опробовал и мне понравился сервис. Он ведет лог отправки, можно посмотреть статус отправлений. Можно сохранять списки адресов, по которым отправлялись письма. В целом, я бы такой сервис рекомендовал вместо своего почтового сервера, если у вас нет постоянного админа для присмотра за ним. Не знаю, что выйдет по деньгам, не считал. Если использовать бесплатный тариф, то этот вариант удобнее яндекс почты.

Чем Devops отличается от Anykey?

Вопрос: Хаб, свитч, роутер. Эти слова говорят вам что-нибудь?
Anykey: Свитч я настраивал, роутеры перезагружал. А вот хаб я не знаю, что это такое. У нас такого не было.
Devops: Зачем вы у меня это спрашиваете? Я в работе это не применял давно. Я же devops инженер.

Вопрос: Ваш Mysql работал нормально, и тут клиенты перестали подключаться. Что вы сделаете?
Anykey: Перезагружу компьютер.
Devops: Перезагружу контейнер.
Вопрос: А если не помогло?
Anykey: Переустановлю программу.
Devops: Пересоздам контейнер.
Вопрос: Не помогло, что делать дальше?
Anykey: Гуглить.
Devops: Гуглить.
Вопрос: Не помогло, что дальше?
Anykey: Напишу админу.
Devops: Напишу в поддержку облачному провайдеру.

https://www.youtube.com/watch?v=jT4nZp2uEU0

Я на этой неделе делал заметку про вакансии, в контексте аварии хостера. Сейчас хотел бы немного раскрыть эту тему подробнее. Она больше всего актуальна, когда вы выбираете для себя аутсорсинговую it компанию. Посмотрев ее вакансии, желательно на каком-то интервале, вы сможете прикинуть, какой уровень поддержки вас ожидает и с кем придется работать.

Если взять хороших аутсорсеров, то с вакансиями у них будет все в порядке. Для наглядности, покажу парочку примеров известных компаний.

https://southbridge.io/vacancies
https://job.flant.ru/vacancies

Хорошие вакансии, но и цены за услуги "хорошие" :) Одно без другого не бывает. Конечно, это все косвенные признаки и однозначно по ним судить о качестве нельзя. Но тем не менее, вакансии с зарплатными вилками вне рынка будут говорить о том, что и качество услуг будет так себе.