Size: a a a

2020 September 22

AZ

Anton Zadorozhniy in Data Engineers
о чем спор-то? кривой же дизайн с квотой на аккаунте, могли бы резервы давать делать по тэгам там, или регионам/аз
источник

R

Renarde in Data Engineers
Anton Zadorozhniy
о чем спор-то? кривой же дизайн с квотой на аккаунте, могли бы резервы давать делать по тэгам там, или регионам/аз
насчет кривоты дизайна плюсую, но по моему это edge-case
я аргументировал о том, что функциональных недостатков в KMS меньше чем в self-managed истории, при этом ничего не мешает перейти на self-managed при совсем уж кастомных требованиях
источник

AZ

Anton Zadorozhniy in Data Engineers
Renarde
насчет кривоты дизайна плюсую, но по моему это edge-case
я аргументировал о том, что функциональных недостатков в KMS меньше чем в self-managed истории, при этом ничего не мешает перейти на self-managed при совсем уж кастомных требованиях
HTE вообще не об этом, ты можешь KMS свой любимый с ним использовать, это скорее аналог SSE-KMS, а там помимо всех удобств KMS есть еще чардж за использование ключа)
источник

AZ

Anton Zadorozhniy in Data Engineers
удобство SSE-KMS в одном - сам KMS и S3 инфру ты не менеджишь, в остальном это средненькая реализация и очень недешевая
источник

AT

Al T in Data Engineers
Anton Zadorozhniy
о чем спор-то? кривой же дизайн с квотой на аккаунте, могли бы резервы давать делать по тэгам там, или регионам/аз
ну в большинстве случаев они как раз по регионам, для KMS в частности
источник

AT

Al T in Data Engineers
To make AWS KMS responsive and performant for all users, AWS KMS applies two types of quotas. Each quota is calculated independently for each Region of each AWS account.
источник

AZ

Anton Zadorozhniy in Data Engineers
Al T
ну в большинстве случаев они как раз по регионам, для KMS в частности
как мне сделать себе резерв по Encrypt в конкретном регионе? мне нужно чтобы запись работала всегда, а чтение могло отвалиться
источник

AZ

Anton Zadorozhniy in Data Engineers
поинт в том что они суммируют число запросов по всем операциям, то есть в us-east-2 10К это на encrypt/decrypt/reencrypt и все остальное в сумме
источник

AZ

Anton Zadorozhniy in Data Engineers
пример; пачка сатанистов решили запустить много больших и очень неэффективных джобов по SSE-KMS бакетам, съели всю квоту, и запись данных на всем AWS аккаунте встала
источник

AT

Al T in Data Engineers
ну да, лимит общий на группу API вызовов, это же не отменяет того факта что квота на эту группу в пределах региона... и она разная в разных регионах, если большая нагрузка планировалась нужно не us-east-2 а в us-east-1...
источник

AZ

Anton Zadorozhniy in Data Engineers
Al T
ну да, лимит общий на группу API вызовов, это же не отменяет того факта что квота на эту группу в пределах региона... и она разная в разных регионах, если большая нагрузка планировалась нужно не us-east-2 а в us-east-1...
да, все так, решение стандартное - надо больше думать и лучше стараться)
источник

AT

Al T in Data Engineers
всё так ))
источник

AZ

Anton Zadorozhniy in Data Engineers
такие решения это признак удачного дизайна
источник

AT

Al T in Data Engineers
надо как пользователю написать в AWS как вы страдаете от этого что даже кушать не можете, а лучше скажите AMу своему, он сможет использовать ваш фидбек чтобы продуктовая команда добавила эту фичу побыстрее
источник

AT

Al T in Data Engineers
Simples! ;)
источник

AZ

Anton Zadorozhniy in Data Engineers
вообще я извиняюсь за оффтоп, 99.9% заказчиков это не актуально, должны сложиться требования большого масштаба, плохого гавернанса (это уже самоликвидирующаяся комбинация) и требования SSE-KMS вместо SSE-S3
источник

AZ

Anton Zadorozhniy in Data Engineers
меня просто Иван раззадорил, наступил на мозольку
источник

AZ

Anton Zadorozhniy in Data Engineers
Al T
надо как пользователю написать в AWS как вы страдаете от этого что даже кушать не можете, а лучше скажите AMу своему, он сможет использовать ваш фидбек чтобы продуктовая команда добавила эту фичу побыстрее
эт прям для кого-то кроме нетфликса и US gov работало?
источник

T

T in Data Engineers
Anton Zadorozhniy
эт прям для кого-то кроме нетфликса и US gov работало?
Ну и ногда могут подкрутить под аккаунт, нам на прошлом проекте параметры для glue докручивали
источник

AZ

Anton Zadorozhniy in Data Engineers
T
Ну и ногда могут подкрутить под аккаунт, нам на прошлом проекте параметры для glue докручивали
сами квоты-то выкручены конечно, я про фичу резерва квоты под операция, таг или скажем роль
источник