Size: a a a

AWS Minsk Community

2020 February 24

HA

Hleb Albau in AWS Minsk Community
Alexander Patrushev
Все достаточно просто )
Дело в том, что s3 региональный сервис, те резервирующий себя сразу во всех AZ. Для обеспечения максимальной скорости репликация изменений объектов между всеми копиями не синхронная. Поэтому новый объект становится доступным сразу после записи и у него не может быть устаревшей копии, а вот изменённый объект какое-то время может иметь устаревшую копию с которой может произойти чтение.
Так вроде это ничего не объясняет ничего. Для того, чтобы сделать стронг рид афтер врайт, у тебя запрос на первое сохранение должен быть синхронным. Вопрос - зачем так сделали?
источник

AD

Aliaksandr Dounar in AWS Minsk Community
можно задать вопрос в саппорт, ответ правда будет скорее всего “потому что”. Вряд-ли кто-то даст 100% ответ в плане деталей имплементации
источник

AP

Alexander Patrushev in AWS Minsk Community
Hleb Albau
Так вроде это ничего не объясняет ничего. Для того, чтобы сделать стронг рид афтер врайт, у тебя запрос на первое сохранение должен быть синхронным. Вопрос - зачем так сделали?
Любой PUT всегда сохраняет данные в нескольких локациях, но информация об этом обновляешься не синхронно.
Поэтому у нового объекта сразу все актуально, а существующего и обновлённого ещё имеются прошлые копии.
источник

AP

Alexander Patrushev in AWS Minsk Community
«Amazon S3 achieves high availability by replicating data across multiple servers within AWS data centers. If a PUT request is successful, your data is safely stored. However, information about the changes must replicate across Amazon S3, which can take some time,»
источник

AP

Alexander Patrushev in AWS Minsk Community
Не думаете о S3 как о стандартной хранилке с одной точкой входа. Это тысячи и тысячи серверов
источник

B

Boris Golynski in AWS Minsk Community
Roman V .
не сравнение, а сопоставление
Поправил.
источник

HA

Hleb Albau in AWS Minsk Community
так есть вопросик
вот есть лямбда,  в который мы делаем глобальную переменную boto3 клиента
а что произойдет, если креды клиент заэкспайрятся или сессия отвалится, лямбда будет просто 500 сыпать? как это хендлить правильно?
источник

HA

Hleb Albau in AWS Minsk Community
s3 = boto3.client('s3') или вот эта строчка делает это все автомагически
источник

RV

Roman V . in AWS Minsk Community
лямбда креды из роли берет
источник

RV

Roman V . in AWS Minsk Community
лично мне таких проблем наблюдать не приходилось
источник

AS

Alexey Stekov in AWS Minsk Community
А есть в стане опытные амазонщики, желающие срелоцироваться в Нидерланды? Я ищу себе замену - https://newmotion.com/en_GB/careers/aws-devops-engineer
источник

AS

Artsiom Sinitsa in AWS Minsk Community
Есть вопрос по EKS. Есть ли возможность запустить несколько кластеров с использованием одних и тех же VPC Subnets?
источник

RV

Roman V . in AWS Minsk Community
я проблем не вижу, а зачем?
источник

RV

Roman V . in AWS Minsk Community
на уровне одного кластера можно разделить по неймспейсам, а affinity/taint позволяет распределить поды по нодам
источник

AS

Artsiom Sinitsa in AWS Minsk Community
для Dev окружения. В целом идея такая что есть кластер на котором сначала тестируются фичи самого кластера и ещё один где собственно тестируются приложение и его бизнес логика. Я тоже не видел, и 2 кластера нормально создаются в одних и тех же Subnets, но потом сыпятся ошибки про CNI и кластеры становится нестабильными
источник

AS

Artsiom Sinitsa in AWS Minsk Community
network is not ready: runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized
источник

RV

Roman V . in AWS Minsk Community
для dev окружения хороший тон вообще по аккаунтам разделять, а не то, что в одном VPC хостить
источник

AS

Artsiom Sinitsa in AWS Minsk Community
это не Dev и Prod
источник

AS

Artsiom Sinitsa in AWS Minsk Community
это два кластера в Dev
источник

AS

Artsiom Sinitsa in AWS Minsk Community
Вот уже думаю как их правильно разделять, если требования по безопасности и авторизации одинаковые
источник