Size: a a a

2019 November 18

DM

Daniel Matveev in Data Engineers
сейчас хз, многое изменилось и там и там
источник

АЖ

Андрей Жуков in Data Engineers
Рамиль Ахмадеев
по производительности - в инетах пишут флинк быстрее
В инетах и Хрыч пишет всякое в каждом втором чате
источник

АЖ

Андрей Жуков in Data Engineers
источник

DM

Daniel Matveev in Data Engineers
источник

A

Aleksandr in Data Engineers
источник

АЖ

Андрей Жуков in Data Engineers
Надо б бенч замутить
источник

РА

Рамиль Ахмадеев in Data Engineers
Андрей Жуков
В инетах и Хрыч пишет всякое в каждом втором чате
да, вопросов то нет, я понимаю что инет такое себе
источник

РА

Рамиль Ахмадеев in Data Engineers
да и в целом все зависит как правило от кейса/тюнинга
источник

K

KrivdaTheTriewe in Data Engineers
Спарк проще
источник

K

KrivdaTheTriewe in Data Engineers
Для стриминга
источник

K

KrivdaTheTriewe in Data Engineers
И есть полуночное питон апи, если вам критично
источник

DM

Daniel Matveev in Data Engineers
ну ты известный фанатик спарка и технофашист, необъективно
источник

VS

Valasovich Siarhei in Data Engineers
Тут больше абстрактный вопрос был без кейса, flink ещё не встречал в требованиях к проекту или вакансий. Спарк сейчас как must have. Увидел flink вот и любопытно стало, Spark каждый о нем знает.
источник

A

Alex in Data Engineers
Гонял флинк в проде как runner для apache beam

В Минске пару компаний используют его и в вакансии висело (ещё года 2 назад сразу там и указывали понимание ватермарков, чекпоинтов, стейтов и тд)

Netflix/Uber тоже в вакансиях видел указывают
источник

A

Alex in Data Engineers
Понравилось что из-за того что больше как евент процессинг и chain по операциям идёт, то в памяти одновременно очень мало евентов висит
источник

A

Alex in Data Engineers
В отличии от спарка когда сразу вычитал в блок и дальше по трансформациям гоняеются rdd немутабельные
источник

A

Alex in Data Engineers
Хотя для спарка больше либ и документации, проще людей найти
источник

A

Alex in Data Engineers
Сказать что лучше не берусь, зависит от задачи и требований, это как выше про кафку против кролика было
источник

VS

Valasovich Siarhei in Data Engineers
Спасибо всем, впринципе услышал, что хотел и статью уже нашёл в инете сравнение шторма Спарка и Флинка)))
источник

DM

Daniel Matveev in Data Engineers
Valasovich Siarhei
Спасибо всем, впринципе услышал, что хотел и статью уже нашёл в инете сравнение шторма Спарка и Флинка)))
это что то очень древнее явно
источник