А зачем их противопосталять если они обычно везде в месте используются. Что я наблюдаю в своей деревне то что питух используется для склейки: деплоймент, лямбды ит тд. + Он для ad-hoc отлично подходит нафигачил чего нить в ipython проверил и забыл. А скала больше в паплайнах , spark, flink, Akka. Ну и у нас в команде точно такой же сценарий и спользования их.
P.s.
На вопрос что учить из них двоих первым. Я бы советовал начинать с питона.

А для нубья, которое только в питон умеет, с чего разумнее начать, с джабы или скалы?

Я бы посоветовал начать с java, ну с JVM в часности: как сборщики мусора работаю, модель памяти и тд. Потом в скалу будет сильно легче выкатиться меньше wtf будет. Но если время не ждёт то можно сразу в скалу.

Не. Не спарк у меня Клауд инфраструктура. Лямбды и вот это вот всё

В aws glue есть pyspark)

Коллеги, а поделитесь опытом - кто как документирует развёрнутые решения.
Это касается и архитектуры - какое ПО / компонент на какой машине развёрнуты и что делает, какие порты занимает, и разработанного кода - тоже, что написано, какую функцию выполняет, что на входе и на выходе.

Мы пытаемся придерживаться https://c4model.com/

Документация в виде видео!?

https://yandex.ru/promo/oda/useful

смотрите, оказывается есть перечень открытых данных, доступных всем

видео делаю в плане настройки и работы готовой системы - что куда нажимал, зачем и что было на выходе. Это для себя, технические моменты, чтобы помнить, если / когда через пол-года нужно будет вернуться и осознать, что было сделано на конкретном проекте и как работает.

Как они нагло срисовали идею у Вани Бегтина :)