Всем привет. Есть вопрос по организации стораджа для кубернетиса. Допустим у меня микросервисная архитектура, по сути каждый сервис занимается некоторым процессингом файлов. Понятно что каждый сервис может качать из хранилища файл обрабатывать его и удалять. Но хочется чтобы не было дублирования трафика при условии нахождения сервисов на одной ноде и получении одного и того же файла. Т.е. чтобы было какое-то локальное кэширование, если какой-либо сервис на данной ноде уже скачал файл, то мы повторно сторадж не спрашиваем, а отдаем локально. Как можно добиться такого эффекта? Куда вообще погуглить можно, что-то ничего не найду...

Это очень неправильный подход. Если используя кубер хочется иметь в виду, что у тебя есть ноды и поды могут оказываться вместе на одной ноде, тут явно что-то не так делается. Если до кучи шарятся файлики между микросервисами, то это не (микро)сервисная архитектуры, это хз что.

ПОдскажите, а есть ли способ запустить джобу только после того как все поды  будут запущены?

вообще такое поверх очереди типа кафки реализуют

ну сам пайплайн, возможно, да, а сервисы в кубернетисе например?

если у тебя пайплайн обработки файла - опять же - внешнее хранилище

или можно в джобе ждать реди от подов

Всем привет. Есть вопрос по организации стораджа для кубернетиса. Допустим у меня микросервисная архитектура, по сути каждый сервис занимается некоторым процессингом файлов. Понятно что каждый сервис может качать из хранилища файл обрабатывать его и удалять. Но хочется чтобы не было дублирования трафика при условии нахождения сервисов на одной ноде и получении одного и того же файла. Т.е. чтобы было какое-то локальное кэширование, если какой-либо сервис на данной ноде уже скачал файл, то мы повторно сторадж не спрашиваем, а отдаем локально. Как можно добиться такого эффекта? Куда вообще погуглить можно, что-то ничего не найду...

Настраиваешь S3 и очередь с ACK (кафка не подойдёт), при помещении объекта в s3 для последующей обработки необходимо положить сообщение в очередь на обработку. Микросервис увидит задачу в очереди и возьмёт файл на обработку, по успешному окончанию делает ACK для сообщения… Воркеров-разгребателей может быть много, всем нужен общий сторадж… каждому воркеру свой сторадж не нужен

они туда хелм-оператор засунут?