Коннекторы к статике и стримам
Кишочки датафреймов
Нативные УДФки
Обычные скала удфки дип дайв
Асинхронные экшены
Всякая грязь про управление количеством воркеров
Как юзать py4j в спарке

в кратце так

Ребят, что делать если нашел достоверную инструкцию , как установить airflow, и реально она сработала без ошибок, однако

Когда хочу запустить дагу в airflow, то получаю ошибку ..

Вопрос: как это заранее предугадать ?? Как сразу найти инструкцию по установке и запуску дага без ошибок ??

на реп похоже

ну там нету коллекта, но другие экшоны не падают. в поркет пишется например прекрасно.

это что за спарк такой

2.4.6?

можно попробовать схему сделать

эх и забыл что там это еще было экспериментал

as[KEKE].schema

и сравнить

хорошая идея

2.4.5 на 2.11

так он уже на .as NPE кинет

ExpressionEncoder[KEKE].schema

..

Никак, это ДЕ

ребят, всем привет!
Есть ли какой-то стайл гайд по оформлению проектов на пайспарке ?
* Является ли нормой то, что я пишу по 3 +связанные chain трансформации?)
* Как модульно всё красиво оформлять, чтобы было код читался? у меня несколько супер больших csvшников,  кототорые я обрабатываю спарком. Может быть пример есть какой-то общий.
* Норм ли практика писать сначала в ноутбуке и смотреть результаты работы каждой квэри и тд и потом переносить всё в  ide?

Всем привет! Что здесь используется в качестве разделителя? Можете подсказать? (CSV File)

открой блокнотом и глянь