Service: AWS Batch
Region: 🇺🇸US West (Oregon)
URL: http://status.aws.amazon.com/#batch-us-west-2_1618369243

Between 5:25 PM and 7:52 PM PDT, some AWS Batch Compute Environments transitioned to INVALID in the US-WEST-2 Region. The issue has been resolved and the service is working normally.

#batch #uswest2

ребят, смотрю на вопрос из sa pro и есть пара сомнений; юз кейс: компания делает видеоприложение, которое создает лог стрим, каждая запись в стриме может содержать до 400кб данных, чтобы улучшить видеостриминговый опыт, нужно собирать сабсет метрик из стрима для анализа трендов со временем используя сложные СКЛ квери. Архитектору нужно создать решение, которое бы скейлилось без вмешательства кастомера
В решениях
- firehose -> lambda for processing -> redshift
- sqs -> lambda for processing -> redshift
- cloudwatch log group -> lambda for processing -> s3 -> athena
- kinesis data stream -> lambda for processing -> 2nd kinesis data stream -> kinesis data analytics
тк решение должно скейлиться само, то первые 2 варианта из-за редшифта отбрасываются,  последнее также тк нужны тренды со временем (у кинезиса 24ч-7дней), остается только 3й вариант; насколько уместно утверждение "сложных скл кверей" и афены? судя по тоннам вопросов которые просмотрел как правило "сложные квери" это почти всегда редшифт

я тут погуглил что sqs max msg size 256 kb, а если больше то идет через s3

не знаю насколько поможет

sqs до 2гб может передавать сообщения: https://aws.amazon.com/ru/about-aws/whats-new/2015/10/now-send-payloads-up-to-2gb-with-amazon-sqs/

норм вариант с афиной там же норм скуел запросы можно писать

У меня какая-то ассоциация, что стримы процессить через sqs - это не хорошо (не знаю, откуда).
А вот про кинезиз, мне кажется, у вас ошибочка. Там max retention period до 365 дней (8760 часов).

Товарищи, как в RDS на postgres получить права суперпользователя?

действительно, можно увеличить до года, но все равно формулировка 'trends over time' кмк подразумевает, что хранилище не должно лимитировать по времени без лишних приседаний

master user разве не имеет всех прав?

Неа... Там своя группа которая немного ограниченна в правах

На самом деле тут формулировка довольно не полная, и точных критериев нет. Я бы все таки опирался на ключевое слово "стрим", которое обычно явно говорит, что sqs не подходит.

не помню точно, но можно вроде под паролем войти в юзера postgres или как-то так

суперюзером там является только rdsadmin, но пароль там не увидеть. И этот пользователь для обслуживания, обновления и всего такого. Используется самим амазоном

мне почему то кажется что это вариант с кинезисом
кинезис у AWS позиционируется как основной сервис для стриминга.
соответственно все куски там самомасштабируемые вкючая лямбду и https://aws.amazon.com/kinesis/data-analytics/

опять же kinesis data stream умеет в sql
You can also use SQL to interactively analyze streaming data using the AWS console and send the results to other AWS services.

хотя вариант с cloudwatch и афиной тоже выглядит подходящим на первый взгляд

Клаудвотч это метрики, и там ограничена гранулярность и время хранения. Как замена месседж брокеру звучит плохо.

Из предложенного Кинезис хочется выбрать, он как раз подходит, чтобы туда дикие объемы данных закидывать

ну там речь все таки про log stream и как раз тут A log stream is a sequence of log events that share the same source.

вопрос в общем с подковыркой... но по ощущениям в таких случаях правильный ответ тот что более явно использует как бы сказать более маркированные ресурсы.
раз стримы то кинезис

примерно как пресловутый вопрос про alias записи в экзаменах на SAAs