Теперь

Более детальный чем блогпост

Так он и публиковал

вот

Так это не постмортем

Сравни с тем что по ссылке

Ну и вот фраза еще

Более детальный чем блогпост

Понял, они его дополнили

Ну блогпост не был постмортемом, это так, мелкие детали пока не готов сам постмортем были

> Google engineers were alerted to the failure two minutes after it began, and rapidly engaged the incident management protocols used for the most significant of production incidents. Debugging the problem was significantly hampered by failure of tools competing over use of the now-congested network.

ухх

Классика )

Зафакапили сетку, стали звонить он-сайтам, ну и по кругу … времени очень много уходит

Я практически уверен, что малом сегменте новая конфигурация не показала явной девиации, а когда изменение ушло на регион - сразу проявились нюансы

Вряд ли там была ошибка, скорее прод-специфичные девиации полезли

и то, и другое

> the software initiating maintenance events had a specific bug, allowing it to deschedule multiple independent software clusters at once, crucially even if those clusters were in different physical locations.

> The network ran normally for a short period - several minutes - after the control plane had been descheduled. After this period, BGP routing between specific impacted physical locations was withdrawn, resulting in the significant reduction in network capacity observed by our services and users, and the inaccessibility of some Google Cloud regions.

вообще интересное сочетание факторов там конечно

Чем больше слоев, тем веселее погремушки )

Коллеги а Upsource кто-нибудь пользуеься?