тогда из жсонов сдеать стракт и потом объединить все в один стракт

from_json и struct

уже пробовал, и получил что-то вроде такого [{json}, {json}]

а мне надо [{json}]

вообще погоди

все же еще проще

делаешь array(твои колонки)

потом explode

array это sql.functions?

да

это надо пихать в withColumnRenamed?

нет

withColumn(“blabla”, array(‘a, ‘b’, ‘c)

и потом explode blabla

хм, попробую

ого, получилось

спасибо большое:3

https://habr.com/ru/company/mailru/blog/415191/ а кто-нибудь вообще это задачу решал? поделитель, пожалуйста, последовательностью действии что там надо сделать, если решали

давно этим не занимался но не понял в чем проблема? загружаешь данные выделяешь признаки и строишь модель. тут я так понимаю вопрос в обьеме и фича инженеринге. тут одна категориальная фича значит надо сделать one hot encoding. далее 3 столбца с разреженными данными. тут вернее всего получится в итоге sparse matrix и имена ключей будут номерколонки_номерсчетчика.  далее делаем масштабирование по мин максу или стандартизация, выбираем модель и гоняем.