и еще как опция взять managed Flink от самих создателей - https://www.ververica.com/

О, прикольно, не слышал о таком

когда у них появилось?

раньше же саму платформу только продавали, а не клауд

честно, я не очень в курсе. Я помню что они переименовались, а в прошлом году они у меня в линке стали часто светиться - ищем людей. Я не люблю флинк и не верю в него как в продукт 🤷‍♂️

было бы удивительно если бы сотрудник датабрикса верил в продукт конкурентов =)

ну я не верил в него и до попадания в Датабрикс. В Z мы переписали один из пайплайнов с Флинка на Спарк

переименовались после того как их купил alitech
потому и мелькать стал, что денег больше появилось и уже не так сильно ограничены как “стартап”

после этого в Z вроде флинка и не осталось нигде 🙂

uber/netflix/cisco/алибаба верят =) а кто-то не верит
вера это ведь такое, непостоянное и не всегда обоснованное

где-то имеет смысл пихать его, где-то нет

А почему?

я конечно извиняюсь, но если судить списки референсов, покажется что любой новый-модный-крутой фреймворк используется в Uber / Netflix / <any-big-tech-company>.
Реальность как обычно такова - есть одна-две-N хипстеркоманд, которые используют какой-то стек потому что им это нравится / job security / NIH syndrome.
В крупных IT это можно себе позволить, потому что в таких компаниях это хорошо заменяемые ресурсы (в том числе - взаимозаменяемые).

ну у меня есть объективные аргументы под NDA, и необъективные - мне не нравится java-like syntax во Флинке, и спарк я просто начинал учить раньше 🙂

ну вот так всегда начинается
как аргументы, так сразу NDA =)

ну и коре часть платформы называть хипстеркомандой тоже нужно уметь

зачем делать бесплатно то, за что платят?  😁

аргумент.

вот именно поэтому я точно так же считаю что в спарке вагон маркетинга, а не технологий =)

начиная с all in memory rdd, но спилим любой шафл на диск (даже на 5 рекордов)
и заканчивая “мы не map-reduce” =)

от того, что это компонент core, это не исключает того что там могут быть хипстеркоманды.
Еще раз - аргумент то что какая-то OSS технология используется техгигантом - это очень слабый аргумент, если вы не аналогичный техгигант.

да, и спарк здесь ни лучше ни хуже =)