В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1919 membersпожаловаться на группу
2020 August 19

СХ

Старый Хрыч... in Data Engineers
Andrey Smirnov
А что не так с регионсерверами?
описываю тебе простой кейс
16 нод, 4 регион сервера, 10 дата нод - нагрузка 120к в сек на запись и периодически большие запросы на чтение. ночь, тишина, всё встаёт раком, 300к файловых дискрипторов висят, регион сервер 1 умер, что мы до конца чинили уже не скажу, но мы ждали пока кластер с ам себя обработает почти 19 часов
источник
09:35пожаловаться#1

АЖ

Андрей Жуков... in Data Engineers
Старый Хрыч
описываю тебе простой кейс
16 нод, 4 регион сервера, 10 дата нод - нагрузка 120к в сек на запись и периодически большие запросы на чтение. ночь, тишина, всё встаёт раком, 300к файловых дискрипторов висят, регион сервер 1 умер, что мы до конца чинили уже не скажу, но мы ждали пока кластер с ам себя обработает почти 19 часов
звучит как кассандра
источник
09:36пожаловаться#2

ZM

ZLoyer Matveev in Data Engineers
"16 нод, 4 регион сервера, 10 дата нод"

я сломался
источник
09:37пожаловаться#3

СХ

Старый Хрыч... in Data Engineers
Андрей Жуков
звучит как кассандра
😐с кассандрой всё проще, rf3 и жизнь спокойна
источник
09:38пожаловаться#4

СХ

Старый Хрыч... in Data Engineers
ZLoyer Matveev
"16 нод, 4 регион сервера, 10 дата нод"

я сломался
ну сам кластер собирали ещё до нас, 2 нейм  ноды,  4 регион сервера и 10 дата нод
источник
09:38пожаловаться#5

AZ

Anton Zadorozhniy in Data Engineers
Старый Хрыч
описываю тебе простой кейс
16 нод, 4 регион сервера, 10 дата нод - нагрузка 120к в сек на запись и периодически большие запросы на чтение. ночь, тишина, всё встаёт раком, 300к файловых дискрипторов висят, регион сервер 1 умер, что мы до конца чинили уже не скажу, но мы ждали пока кластер с ам себя обработает почти 19 часов
как хорошо что в кассандре рекавери пробегает за наносекунды и таких проблем нет..
источник
09:42пожаловаться#6

AZ

Anton Zadorozhniy in Data Engineers
ZLoyer Matveev
"16 нод, 4 регион сервера, 10 дата нод"

я сломался
ну сказали же, хбейс плохой
источник
09:43пожаловаться#7

СХ

Старый Хрыч... in Data Engineers
Anton Zadorozhniy
как хорошо что в кассандре рекавери пробегает за наносекунды и таких проблем нет..
ну не секунды, но 19 часов у меня не было
источник
09:43пожаловаться#8

СХ

Старый Хрыч... in Data Engineers
Anton Zadorozhniy
ну сказали же, хбейс плохой
я не говорил что он плохой, я говорю, то с ним будет больше работы
источник
09:43пожаловаться#9

AZ

Anton Zadorozhniy in Data Engineers
Старый Хрыч
я не говорил что он плохой, я говорю, то с ним будет больше работы
если так планировать кластер - это просто job security for life
источник
09:44пожаловаться#10

AS

Andrey Smirnov in Data Engineers
Старый Хрыч
ну сам кластер собирали ещё до нас, 2 нейм  ноды,  4 регион сервера и 10 дата нод
4 регион сервера, значит вся нагрузка на них, в hbase нет понятия дата нод
источник
09:44пожаловаться#11

AS

Andrey Smirnov in Data Engineers
Старый Хрыч
ну сам кластер собирали ещё до нас, 2 нейм  ноды,  4 регион сервера и 10 дата нод
и что это меняет?
источник
09:45пожаловаться#12

AZ

Anton Zadorozhniy in Data Engineers
Andrey Smirnov
4 регион сервера, значит вся нагрузка на них, в hbase нет понятия дата нод
если забивали на мажорные компакции - еще и дофига сетевого доступа
источник
09:46пожаловаться#13

AS

Andrey Smirnov in Data Engineers
Anton Zadorozhniy
если так планировать кластер - это просто job security for life
+1
источник
09:46пожаловаться#14

AZ

Anton Zadorozhniy in Data Engineers
по моему мб устаревшему мнению - кассандра действительно сложнее хбейс, но это тот случай когда простота мб лучше
источник
09:47пожаловаться#15

AZ

Anton Zadorozhniy in Data Engineers
и да, для каких-то кейсов вроде ивент стора я бы тоже предложил кассандру.сциллу наверное, особенно если не нам ее поддерживать :)
источник
09:48пожаловаться#16

СХ

Старый Хрыч... in Data Engineers
Andrey Smirnov
4 регион сервера, значит вся нагрузка на них, в hbase нет понятия дата нод
😐да, извиняюсь, просто в голове уже столько бд, что путаюсь
источник
09:48пожаловаться#17

СХ

Старый Хрыч... in Data Engineers
😐надо будет тогда вспомнить что это за ноды были, я просто помню что там только данные были
источник
09:49пожаловаться#18

ZM

ZLoyer Matveev in Data Engineers
Старый Хрыч
😐надо будет тогда вспомнить что это за ноды были, я просто помню что там только данные были
Ну возможно вы лили в хдфс, а думали что это хбейз. 😂
источник
09:58пожаловаться#19

СХ

Старый Хрыч... in Data Engineers
ZLoyer Matveev
Ну возможно вы лили в хдфс, а думали что это хбейз. 😂
😂🤣ну это уже к заказчику, мы там пришли, это делао починили, получили свои 5к за 4 дня работы и ушли
источник
09:59пожаловаться#20