A
а как флинк с драмматичной бекпрешшей работает?
Оооочень интересно :)
Size: a a a
2019 November 19
DM
а как флинк с драмматичной бекпрешшей работает?
драммит и бэкпрешит
DM
у нас кафка была на входе, поэтому там не так чтобы оценить сильно можно было
DM
в уи своем показывает тормозные места процесса
A
Раньше делал на воркер стектрейс и смотрел где нужно притормозить
A
Сейчас интересней
GP
ооо точно
GP
у флинка же теперь и батч есть я и забыл
GP
то что они не рекламируют
OP
во флинке в какую либо фс не очень то и удобно писать из за чисто стриминговой природы , запись сначала в парт файлы , потом их статусы, потом у врайтера close над, кароч у нас были проблемы когда раз в сутки просто парты в статусе pending оставались
DM
батч есть тысячу лет
GP
батч есть тысячу лет
вообще забыл
DM
ну баундед дата скучная, вот и не пиарят
GP
во флинке в какую либо фс не очень то и удобно писать из за чисто стриминговой природы , запись сначала в парт файлы , потом их статусы, потом у врайтера close над, кароч у нас были проблемы когда раз в сутки просто парты в статусе pending оставались
ну это везде так будет
A
Нет :) спарк рдд партицию записал, вот тебе и файл
OP
ну и у флинка меньше комьюнити, а значит сложнее инфу искать + баги не все известны
GP
Нет :) спарк рдд партицию записал, вот тебе и файл
ну сам пишешь когда в партициях - закрывать то надо
DM
в Китае у флинка похоже вполне нормальное коммьюнити