Size: a a a

2019 December 18

СХ

Старый Хрыч in Data Engineers
Anton Zadorozhniy
получается такая относительная "эластичность", зачем действительно тогда кубер если прибито гвоздями к конкретной ноде? только для деплоя?
Да, и типа смотрите у нас кубер
источник

AZ

Anton Zadorozhniy in Data Engineers
удобно
источник

СХ

Старый Хрыч in Data Engineers
На тестах цеплялось к гластеру, но там и данных было 100-300 гб и нагрузка от силы 200 rps
источник

AZ

Anton Zadorozhniy in Data Engineers
200 рпс в кафку??
источник

AZ

Anton Zadorozhniy in Data Engineers
200к мб?
источник

S

Stanislav in Data Engineers
Pavel
прикрепить бы голосовалку на сутки, а то после нее идет срач и баттл) и в итоге много голосов упускаем
там не хватает уточения по размеру нагрузки - количество сообщений и их размерам
источник

СХ

Старый Хрыч in Data Engineers
Anton Zadorozhniy
200 рпс в кафку??
На проде было 200к а для дев тестов зачем столько?
источник

S

Stanislav in Data Engineers
а то кубовые ребята вот расскажут сейчас
источник

AZ

Anton Zadorozhniy in Data Engineers
для дев просто все в одном стенделоун контейнере проще запустить наверное
источник

СХ

Старый Хрыч in Data Engineers
Anton Zadorozhniy
для дев просто все в одном стенделоун контейнере проще запустить наверное
Ну сервера покупали явно не чтобы разраб у себя кафку держал, плюс разные контура
источник

СХ

Старый Хрыч in Data Engineers
У нас например были 3 контура изображавшие прод и работу с однонаправленными шлюзами
источник

СХ

Старый Хрыч in Data Engineers
Где приложения перекладывали из одной Кафки данные в другую
источник

AZ

Anton Zadorozhniy in Data Engineers
ладно, видимо системным инженерам дали больше свободы чем нужно, но кто я такой чтобы судить 🙂
источник

P

Pavel in Data Engineers
Stanislav
там не хватает уточения по размеру нагрузки - количество сообщений и их размерам
очень странное получится голосование) средний конфиг кластера кафки всегда есть, например, это 3-5 нод, по 8-32гб и т.п. для общей картины этого достаточно
источник

СХ

Старый Хрыч in Data Engineers
Anton Zadorozhniy
ладно, видимо системным инженерам дали больше свободы чем нужно, но кто я такой чтобы судить 🙂
Нет, там был dmz и полное отсутствие обратной связи между dmz
источник

AZ

Anton Zadorozhniy in Data Engineers
а, это вроде real world exchange.. любопытно
источник

СХ

Старый Хрыч in Data Engineers
Физический обрыв связи между dmz
источник

СХ

Старый Хрыч in Data Engineers
Трафик только в 1 сторону
источник

S

Stanislav in Data Engineers
Pavel
очень странное получится голосование) средний конфиг кластера кафки всегда есть, например, это 3-5 нод, по 8-32гб и т.п. для общей картины этого достаточно
по компьют ресурсам 3 ноды может переварить овердофига, все уткнется в сторадж
источник

R

Renarde in Data Engineers
всем привет. вопрос - а проект Alluxio вообще живой? Я правильно понимаю что это просто S3 compatible хранилка в памяти? или у нее какие-то еще крутые фичи есть?
источник