Size: a a a

Kubernetes — русскоговорящее сообщество

2020 September 16

GG

George Gaál in Kubernetes — русскоговорящее сообщество
источник

GG

George Gaál in Kubernetes — русскоговорящее сообщество
helm controller имеет место быть
источник

GG

George Gaál in Kubernetes — русскоговорящее сообщество
источник

GG

George Gaál in Kubernetes — русскоговорящее сообщество
этого достаточно
Так что ответ:
1. это не совсем helm operator
2. но по сути то же самое
источник

I

Ilya in Kubernetes — русскоговорящее сообщество
Eugene Petrovich
Настраиваешь S3 и очередь с ACK (кафка не подойдёт), при помещении объекта в s3 для последующей обработки необходимо положить сообщение в очередь на обработку. Микросервис увидит задачу в очереди и возьмёт файл на обработку, по успешному окончанию делает ACK для сообщения… Воркеров-разгребателей может быть много, всем нужен общий сторадж… каждому воркеру свой сторадж не нужен
это понятно, можно и селери  взять какой  нить или голый раббит мку, я спрашиваю  конкретно как сэкономить  дублирование траффика. это  все не в клауде, локально, поднимаем кубернетис, ок, могу поднять ceph какой нить, но сути вещей это не поменяет, так же как и внутри амазона файлы будут выкачиваться на каждый под с хранилищая каждый раз, а если у меня 50 сервисов и они по очрееди обрабатывают этот файл, то они 50 раз из стораджа будут выкачивать файл, а зачем?
источник

GG

George Gaál in Kubernetes — русскоговорящее сообщество
Ilya
это понятно, можно и селери  взять какой  нить или голый раббит мку, я спрашиваю  конкретно как сэкономить  дублирование траффика. это  все не в клауде, локально, поднимаем кубернетис, ок, могу поднять ceph какой нить, но сути вещей это не поменяет, так же как и внутри амазона файлы будут выкачиваться на каждый под с хранилищая каждый раз, а если у меня 50 сервисов и они по очрееди обрабатывают этот файл, то они 50 раз из стораджа будут выкачивать файл, а зачем?
Как ты сделаешь локальность файла и пода?
источник

GG

George Gaál in Kubernetes — русскоговорящее сообщество
У тебя под может ездить по всем нодам кластера
источник

GG

George Gaál in Kubernetes — русскоговорящее сообщество
Кмк ты не с той стороны заходишь к задаче
источник

I

Ilya in Kubernetes — русскоговорящее сообщество
George Gaál
У тебя под может ездить по всем нодам кластера
да, это понятно, но когда они рядом можно взять и локально с ноды
источник

EP

Eugene Petrovich in Kubernetes — русскоговорящее сообщество
Ilya
это понятно, можно и селери  взять какой  нить или голый раббит мку, я спрашиваю  конкретно как сэкономить  дублирование траффика. это  все не в клауде, локально, поднимаем кубернетис, ок, могу поднять ceph какой нить, но сути вещей это не поменяет, так же как и внутри амазона файлы будут выкачиваться на каждый под с хранилищая каждый раз, а если у меня 50 сервисов и они по очрееди обрабатывают этот файл, то они 50 раз из стораджа будут выкачивать файл, а зачем?
я одного не понял - зачем 50-ти сервисам обрабатывать один и тот же файл?
источник

EP

Eugene Petrovich in Kubernetes — русскоговорящее сообщество
что за паттерн? точнее для какой задачи
источник

GG

George Gaál in Kubernetes — русскоговорящее сообщество
Цеф тебя кстати не спасёт
источник

GG

George Gaál in Kubernetes — русскоговорящее сообщество
Он сам твою сеть сожрет в момент репликации изменений
источник

I

Ilya in Kubernetes — русскоговорящее сообщество
Eugene Petrovich
я одного не понял - зачем 50-ти сервисам обрабатывать один и тот же файл?
система обработки файлов. каждый  сервис получает инфу о файле потом группируется инфа. это на ETL похоже
источник

EP

Eugene Petrovich in Kubernetes — русскоговорящее сообщество
в gcp был диск на RO для пачки подов с одновременным монтированием
источник

EP

Eugene Petrovich in Kubernetes — русскоговорящее сообщество
может быть и без GCP так можно, хотя в любом случаи между нодами надо как-то шарить файл
источник

EP

Eugene Petrovich in Kubernetes — русскоговорящее сообщество
кстати опять же в том же AWS есть хорошая штука под названием storage gateway… это nfs сервер с апстримом и кэшем к S3. Горячие файлы держит локально.
источник

RG

Roman Gorodeckij in Kubernetes — русскоговорящее сообщество
Eugene Petrovich
+ может metrics-server отсутствует
хмм ну как бы присутсвует и я вижу что количество подов меняется, но у меня ноды не появляются новые хотя в DO все включено читал доки все зделано правильно, уже перепроверял
источник

EP

Eugene Petrovich in Kubernetes — русскоговорящее сообщество
а без HPA сервис скалируется вообще? должно же хоть что-то появляться
источник

TL

Timofey Larkin in Kubernetes — русскоговорящее сообщество
Ilya
да, это понятно, но когда они рядом можно взять и локально с ноды
Ну, если костылить костыли костыльно, то внешняя сбоку-хранилка может реализовать getSHAsum(file), кэш файлов хранить на hostPath /cache/,
if !exist(/tmp/{file}) || getSHAsum(file) != shasum(/tmp/{file}) { download file }
источник