в пятницу, в 6 вечера

Бывает. У нас недавно был продакшн инцидент, отвалились связи между товарами. Оказалось что какой-то ЕТЛ каждый день крутился на машине разраба, а он уволился....

или мигрировать наш стек на другое решение, которое по идее автоскейлится

Волмарт.

у нас так на одном проекте CI был

на другом проекте "CI" был такой

есть ровно один сервер в компании, он-прем, где руками собирается ПРАВИЛЬНАЯ версия

нигде больше собрать никто ничего не мог

это хуйня. вот вам история получше. мы модные и молодежные, у нас есть два девопса (и еще человек двадцать в другом офисе, на который прямого влияния нет) и свой доморощенный кубернетис. у нас вообще много всего своего, но речь конкретно про это. так вот, ВНЕЗАПНО прод разваливается. не то, что один сервис отвалился, нет. просто все нахуй разваливается на глазах. весь лайвстрим, все машинлернинги, вся historical data. вообще все. ну то есть буквально за полчаса. все лежит. и пытается подняться на доморощенном кубернетесе. и не поднимается. опять пытается и опять не поднимается.

а дело как бы к вечеру, на часах 16.00

и никто не может въебать почему оно не поднимается и как так, все развалилось за полчаса.

я всех заебал за полгода, но теперь у нас на дженкинсе собираются rpm-ки.

DST!

в общем, спустя часов пять оказалось, что у нас был список В АЛФАВИТНОМ ПОРЯДКЕ, по которому сервисы возвращались к жизни. В АЛФАВИТНОМ ПОРЯДКЕ БЛЯТЬ

и те сервисы, которые на букву А зависят от сервисов на букву Т, которые еще не запущены

я такой хуйни даже придумать бы не смог, если бы мне за фантазию платили

а развалилось все из-за вовремя необновленных сертификатов и че-то там кубер помер из-за этого. внезапно.

Это очень неплохо!!1

и при этом контора по-прежнему считает, что купить кубер в GCP это дороже, чем своими руками все делать. "я хуею"

я ржал в голос так, что жена с кухни пришла и спросила - доктора вызывать или не надо