Size: a a a

2020 October 17

NZ

Nikolay Zaitsev in linkmeup_chat
Boris Lytochkin
Стало еще непонятнее. Вот выкатился неправильный конфиг на первый сервер. Очевидно, это сломало какие-то линки и даже возможно целиком связность до этого сервера. Загорелся мониторинг, алерты, вот это все. Пофиг мороз, катим на остальные 99? Или как?
Естественно на 100 серверов руками никто не катит. Это автоматизировано. В конфиге 100 хостов и diff уже сложно отпарсить глазами даже если накатить на один сервер.  Накатывать на каждый сервер в отдельности и каждый раз заглядывать в мониторинг не вариант, т.к. на добавление новой машины в сеть уйдет целы день.
источник

A

Anton Klochkov in linkmeup_chat
Boris Lytochkin
Я уж не говорю, что перед выкаткой в прод стоит посмотреть на дифф конфигов и придти в сознание предварительно
Банальный ревью хотя бы, не говоря о тестах
источник

BL

Boris Lytochkin in linkmeup_chat
Можно выкатить на один сервер руками, проверить мониторинг, выкатить автоматикой ещё на один, проверить мониторинг, выкатить на 10, проверить мониторинг, выкатить на 88, проверить мониторинг
источник

BL

Boris Lytochkin in linkmeup_chat
> В конфиге 100 хостов и diff уже сложно отпарсить глазами
Значит пора автоматизировать ревью диффов :)
источник

BL

Boris Lytochkin in linkmeup_chat
и ревьюить не конечные конфигурации, а пререквизиты, которые эквивалентны конечным конфигам, но читаемы глазами
источник

NZ

Nikolay Zaitsev in linkmeup_chat
Anton Klochkov
Банальный ревью хотя бы, не говоря о тестах
Ревью чего? Конфиг выглядит правильным. В моем первом сообщении говорится об опечатке, человеческом факторе.
источник

A

Anton Klochkov in linkmeup_chat
Nikolay Zaitsev
Ревью чего? Конфиг выглядит правильным. В моем первом сообщении говорится об опечатке, человеческом факторе.
Ревью - это когда ещё кто-то смотрит,
Конфиг выглядит правильным
источник

A

Anton Klochkov in linkmeup_chat
Правильные советы, не надо сразу на 100500 катить, если нет тестов этой накатки
источник

NZ

Nikolay Zaitsev in linkmeup_chat
Boris Lytochkin
Можно выкатить на один сервер руками, проверить мониторинг, выкатить автоматикой ещё на один, проверить мониторинг, выкатить на 10, проверить мониторинг, выкатить на 88, проверить мониторинг
Я согласен с самим подходом. Поэтому и ищу как это можно автоматизировать и остановить обновление в нужный момент. Очевидно, что руками на такое кол-во серверов это не делается иначе уйдет целый день.
источник

BL

Boris Lytochkin in linkmeup_chat
> Очевидно
Мне - не очевидно. Если я качу дифф, который невозможно проверить глазами, потому что он огромный, то я его не качу автоматикой, пока не буду уверен, что он не сломает всё в щепу
источник

AD

Alex Demidov in linkmeup_chat
Nikolay Zaitsev
Я согласен с самим подходом. Поэтому и ищу как это можно автоматизировать и остановить обновление в нужный момент. Очевидно, что руками на такое кол-во серверов это не делается иначе уйдет целый день.
приделать к механизму выкатавания  средства тестирования - serverspec/inspec/testinfra
источник

BL

Boris Lytochkin in linkmeup_chat
Опять же - автоматика может катить изменения волнами, если её правильно готовить, сама
источник

NZ

Nikolay Zaitsev in linkmeup_chat
Anton Klochkov
Ревью - это когда ещё кто-то смотрит,
Конфиг выглядит правильным
Вы слишком веруете во внимательность человеков. Опечатку сложно заметить. Для таких задач подходят автотесты, которые проверяют работу сервиса. И я ищу способы как это применить на сеть.
источник

A

Anton Klochkov in linkmeup_chat
Сейчас ваш кейс выглядит так, мамкина автоматизация )))
источник

NZ

Nikolay Zaitsev in linkmeup_chat
Anton Klochkov
Сейчас ваш кейс выглядит так, мамкина автоматизация )))
Вышее писал, все что ты наговнокодил, нужно тестировать.
источник

A

Anton Klochkov in linkmeup_chat
Nikolay Zaitsev
Вышее писал, все что ты наговнокодил, нужно тестировать.
Ессно :)
источник

NZ

Nikolay Zaitsev in linkmeup_chat
Вопрос как тестировать сеть.
источник

BL

Boris Lytochkin in linkmeup_chat
Anton Klochkov
Сейчас ваш кейс выглядит так, мамкина автоматизация )))
а я сижу и думаю, ведь токсичные вещи пишу. Теперь я спокоен)
источник

A

Anton Klochkov in linkmeup_chat
1 вариант (EVE-NG и подобное) я предложил,  ок
источник

A

Anton Klochkov in linkmeup_chat
2 вариант создание в каком-то VRF, подобие чего-то, упарываться на кол-ве не надо,
Ну, а если надо пишешь бизнесу, надо лабу, дайте, а то вот такие вот риски, профит )
источник