1) на входе имею некоторую схему данных в виде json (список столбцов с типами и признаками является ли столбец первичным ключем)
2) по этой схеме формирую датафрейм, где заполнены только столбцы - первичные ключе
3) теперь мне нужно обогатить датафрейм всеми остальными столбцами - для этого в mapPartitions создаю jdbcConnection и дергаю БД

и вот как бы мне сделать это для произвольной схемы данных?

А кейс класс зачем? Нужен парсер который бы приобразовывал схему в пончтный спарку набор полей, и потом с ней уже играться

что вы понимаете под "понятным спарку набором полей"?

Можно через StructType сделать

Ну кароч тут надо забыть про Спарк. И программировать как обычно

проблема в том, что я вообще не программист ((
знать бы еще как "обычно программируют"

Ну начать нужно с парсинга джейсона, а там само пойдет 😁

Записывайте контакт

Пока не удалил

У кого тут проблемы с документацией?

😂😂

Всем привет, можете подсказать плиз по Ignite, сейчас тестим его для онлайн отчетов, запихнули недельный датасет в память, запускаем запросы, а они дико тормозят (относительно других OLAP БД)
добавили индекс по полям, по которым делаем выборку, но скорости это не прибавило
по плану запроса видим что индекс используется
скажите, никто не сталкивался с таким? Неужели Ignite такой медленный если выборка идет не по PK ?

Я бы начал с проверки сети между мастером и нодами.

индексы в OLAP работают только по сильно селективным полям, вы лучше план покажите

у нас индекс по времени

я не большой эксперт в игнайте, но кмк индекс не сильно поможет

вначале без него было, с ним не лучше

в игнайте же индексы В+ деревья?

я хз почему inmemory БД работает медленнее чем тот же GP или Clickhouse

+