"Завтра ищешь в интернете книжку Dive into python..."

Своя сборка

кроме шуток, мне кажется что люди начисто перестали пользоваться возможностями pet-project.

Вот идея - реализуйте чтение стрима изменений на википедии с задержкой не более 2 минут.
Данные сложите в s3-like систему, для стриминга - spark structured streaming, стрим написать на Scala.
Далее реализуйте следующий стрим, который читает данные из s3-like хранилки,  и отправляет текст в rapid API для определения positive/negative intent. После определения интентов, запишите count-статистику в ClickHouse и настройте витринку поверх (скажем, на SuperSet) для визуалиации результатов.

за 1-2 недели интенсивного стековерфлоу и курения мануалов вполне можно успеть

Это да, согласен, работающий вариант, но у компании есть ресурсы и желание быстро обучить людей, курсы для европейской части России им не подходят (сильно другой часовой пояс)

то есть спарк ванильный?

Да

Я точно не знаю :)
Я предполагаю, что это дистр., который я с коллегами собирал, а там спарк ванильный

дока какая-то бестолковая, даже версии библиотек не указаны

они вроде допиливали apache bigtop или концепция поменялась?

вот какой именно там спарк, ваще непонятно :/

Да, мы допиливали BigTop 🙂

Концепция осталась та же, только мы стали повышать версии быстрее бигтопа
Так что теперь там должен быть 3 спарк

ок. ну ладно, будем считать что в россии теперь есть ещё один клауд

Очень много сбера в один день

Сбердуп же, давно объявляли

потом стало SDP

я правда так и не нашел где скачать без регистрации и смс

спарк ванильный, чего его скачивать? 🙂