Всем привет, кто нибудь писал с помощью спарка в постгрес, столбец типа jsonb? Буду благодарен за подсказку.

От объемов зависит, наверное. И от того, нужно ли на лету как-то хитро все обрабатывать

Python, scrapy, mongo, Postgres, sqlalchemy

Немного про DQ и great expectations

https://www.youtube.com/watch?v=gn3_lkw5SLw&ab_channel=EPAMSaint-Petersburg

Добрый день! Подскажите, пожалуйста,
Столкнулся со следующей проблемой - пытаюсь в стриме считывать с директории файлы и не удается это сделать, хотя пишу вроде прямо по документации:
ос - убунту
Пишу: streamingContext.textFileStream("/home/..../dir/")
Затем я этот файл по идее парсю и в модель запихиваю. Так вот, чтобы я не делал спарк не хочет видеть его. Файл закидываю новый туда каждый раз, то есть modified date последний

Используете ли вы в ETL window functions и pivot?

а почему и нет?

оконные - постоянно. пивот - нет

И ещё вопрос: некоторые коллеги в ETL коде пишут километры SQL стейтментов. Как это тестировать?

У меня оконные почему то больше ассоциируются с аналитическими запросами.

а если нужна агрегированная витрина?

ну там чаще.. в целом пофиг же. главное задачу решить.
при заборе из источника частенько нужно как-нибудь проранжировать или пронумеровать данные и забрать только нужные

У нас нельзя данные из прода в нижние слои.

Евгений и @ExcellentName привет, ребята. Спасибо за ваше мнение вчера. Да, я сегодня нашел статью: https://databricks.com/blog/2020/12/22/how-to-manage-python-dependencies-in-pyspark.html . Да,фичи работают для 3.1 спарка. У меня без этих плясок удалось впендерить дельту. Просто свой скрипт чуток поменял и теперь могу с delta-либами через Livy работать.

Отлично :)

Меня больше беспокоит проблема монолитного SQL кода, и трудности разбиения его на небольшие юниты для тестирования.

Посмотрите на DBT

Вот мы и подползли к основной проблеме. 😁
Авторы то не желают ничего выносить и дробить. Просто нате вам две тысячи строк SQL, "у меня все работает ".

Это не проблема SQL

а как sql и девопс связаны?