вот именно поэтому я точно так же считаю что в спарке вагон маркетинга, а не технологий =)

начиная с all in memory rdd, но спилим любой шафл на диск (даже на 5 рекордов)
и заканчивая “мы не map-reduce” =)

а как попасть в Databricks? )

а как попасть в Databricks? )

я все чаще думаю что пора блогпост об этом запилить.

Вкратце есть 4 опции для tech в Европе:
- internship
- platform / core dev
- field engineering (SA)
- RSA

первые две обычно имеют в виду релокацию в Амстердам, вторые две - не всегда (в смысле что вы должны уже быть где-то в EU).

Я проходил на SA 7 собесов (все по классике долины, хайринг везде плюс-минус одинаковый).

господа может в джобс?

я конечно извиняюсь, но если судить списки референсов, покажется что любой новый-модный-крутой фреймворк используется в Uber / Netflix / <any-big-tech-company>.
Реальность как обычно такова - есть одна-две-N хипстеркоманд, которые используют какой-то стек потому что им это нравится / job security / NIH syndrome.
В крупных IT это можно себе позволить, потому что в таких компаниях это хорошо заменяемые ресурсы (в том числе - взаимозаменяемые).

вот именно поэтому я точно так же считаю что в спарке вагон маркетинга, а не технологий =)

начиная с all in memory rdd, но спилим любой шафл на диск (даже на 5 рекордов)
и заканчивая “мы не map-reduce” =)

Авы у них все лучше и лучше становятся, конечно. @pomadchin

ниговори я уже забанел не того

Скажите пж. я правильно понимаю что AirFlow для Spark это просто *запускатель* scala программ ? Т.е.  нет инструментов , которые объединяли бы исходный код и расписание для его выполнения