SK
Есть ли какие-то альтернативы SQS, если мне надо выполнить N тысяч запросов к внешнему API, и я не хочу его нагружать?
На данный момент написал пайплайн с помощью step functions, потом только вспомнил, что лучше не нагружать сильно. Вызов я делаю с помощью лямбды, поэтому включил для нее reserved concurrency и тут же словил фейлы RateExceeded.
Можно конечно сделать ретраи в SF, но это костыль какой-то. Вот и думаю насчет SQS теперь. Напихать несколько тысяч ивентов в очередь, а лямбда потом потихоньку пусть разгребает. В верном направлении думаю или можно со Step Functions что-то пофиксить?
На данный момент написал пайплайн с помощью step functions, потом только вспомнил, что лучше не нагружать сильно. Вызов я делаю с помощью лямбды, поэтому включил для нее reserved concurrency и тут же словил фейлы RateExceeded.
Можно конечно сделать ретраи в SF, но это костыль какой-то. Вот и думаю насчет SQS теперь. Напихать несколько тысяч ивентов в очередь, а лямбда потом потихоньку пусть разгребает. В верном направлении думаю или можно со Step Functions что-то пофиксить?
Можно вместо триггера для функции использовать не SQS а CloudWatch Events с расписанием. Сама функция может читать из очереди "вручную"
