DM
передача 40 гиговых картинок кафкой
путем до файла конечно
Size: a a a
2019 November 19
DM
порезал мету покускам; зашафлил; прочитал что надо
т.е. уже не очень и 40ГБ?)
DM
или что под метой
DM
мне тупо кейс интересен, Гриша, забей на НДА
GP
или что под метой
а я ж рассказывал как можно ет делать
GP
но в моем случае я просто не понял сравнения флинка и спарка
A
порезал мету покускам; зашафлил; прочитал что надо
А вот тут может оказаться и флинк получше ;)
На вход линк на файл, в кафке лишь евент, первый map вытягивает и парсит файлик порождая поток евентов, следующие их процессят
В случае спарка зачастую у тебя происходит материализация этих всех евентов (нужно же закончить сразу парсить, прежде чем перейти на следующий шаг)
Во флинке это поток эвентов и пока файл парится на выходе они уже складываются в выходную очередь после обработки
На вход линк на файл, в кафке лишь евент, первый map вытягивает и парсит файлик порождая поток евентов, следующие их процессят
В случае спарка зачастую у тебя происходит материализация этих всех евентов (нужно же закончить сразу парсить, прежде чем перейти на следующий шаг)
Во флинке это поток эвентов и пока файл парится на выходе они уже складываются в выходную очередь после обработки
GP
А вот тут может оказаться и флинк получше ;)
На вход линк на файл, в кафке лишь евент, первый map вытягивает и парсит файлик порождая поток евентов, следующие их процессят
В случае спарка зачастую у тебя происходит материализация этих всех евентов (нужно же закончить сразу парсить, прежде чем перейти на следующий шаг)
Во флинке это поток эвентов и пока файл парится на выходе они уже складываются в выходную очередь после обработки
На вход линк на файл, в кафке лишь евент, первый map вытягивает и парсит файлик порождая поток евентов, следующие их процессят
В случае спарка зачастую у тебя происходит материализация этих всех евентов (нужно же закончить сразу парсить, прежде чем перейти на следующий шаг)
Во флинке это поток эвентов и пока файл парится на выходе они уже складываются в выходную очередь после обработки
ну да; ток это хорошо если тебе тока флинк и нужен; а так мне кажется разницы нет
A
Просто у нас был похожий кейс на вход лишь метадата о файле, на выходе миллионы евентов по нему
DM
в секунду?
GP
Просто у нас был похожий кейс на вход лишь метадата о файле, на выходе миллионы евентов по нему
а как с редьюсами по ходу стрима?
A
в секунду?
На выхоже до миллионов догоняли в секунду, парсер скейлится количеством легко
GP
На выхоже до миллионов догоняли в секунду, парсер скейлится количеством легко
оч круто кстати
DM
На выхоже до миллионов догоняли в секунду, парсер скейлится количеством легко
на каком железе?
A
а как с редьюсами по ходу стрима?
Редьюсов сильно не было, мы флинк как ранер для бима использовали, немного стейты только гоняли
A
на каком железе?
Хадуп кластер, там много чего было, парсинг лишь один из этапов, было и "прочитал с кафки-посчитал-в кафку"
GP
ну я использовал флинк у меня не было проблем) простенькая очередь что-то там считалось
GP
ничем в данном случае батч отличаться от стрима не будет
а как флинк с драмматичной бекпрешшей работает?