Eugene Petrovich
Настраиваешь S3 и очередь с ACK (кафка не подойдёт), при помещении объекта в s3 для последующей обработки необходимо положить сообщение в очередь на обработку. Микросервис увидит задачу в очереди и возьмёт файл на обработку, по успешному окончанию делает ACK для сообщения… Воркеров-разгребателей может быть много, всем нужен общий сторадж… каждому воркеру свой сторадж не нужен
это понятно, можно и селери взять какой нить или голый раббит мку, я спрашиваю конкретно как сэкономить дублирование траффика. это все не в клауде, локально, поднимаем кубернетис, ок, могу поднять ceph какой нить, но сути вещей это не поменяет, так же как и внутри амазона файлы будут выкачиваться на каждый под с хранилищая каждый раз, а если у меня 50 сервисов и они по очрееди обрабатывают этот файл, то они 50 раз из стораджа будут выкачивать файл, а зачем?