AS
не совсем ясно что хотите получить. почему explode не устраивает?
Size: a a a
2019 December 12
OI
не совсем ясно что хотите получить. почему explode не устраивает?
потому что explode работает с вложенными массивами, а здесь вложенный словарь)
OI
127, 144, 145, 146, 147,148 - это названия вложенных полей в структуре, внутри этих полей - ещё структура, которую я и хочу достать.
AS
потому что explode работает с вложенными массивами, а здесь вложенный словарь)
Со славарями тоже работает
OI
Со славарями тоже работает
ммм
input to function explode should be array or map type, not struct
AS
Так у аас там не дикт а структ
AS
df.select(df.col("data.*"))
OI
Спасибо) попробую конвертнуть)
В
df.select(df.col("data.*"))
А че так можно было?
В
ЕГ
А че так можно было?
2019 December 13
EP
Друзья добрый день! Кто нибудь мог бы подсказать по кейсу? Есть топик кафки, где данные лежат в формате Apache Thrift binary, нужно их конвертить и складывать в ClickHouse, так же одно из условий, запускать по YARN'ом. Прототип написан через kafka-spark-streaming + spark-jdbc + clickhouse-jdbc. Но решение через спарк выглядит как "из пушки по воробьям". Заранее спасибо!
S
Друзья добрый день! Кто нибудь мог бы подсказать по кейсу? Есть топик кафки, где данные лежат в формате Apache Thrift binary, нужно их конвертить и складывать в ClickHouse, так же одно из условий, запускать по YARN'ом. Прототип написан через kafka-spark-streaming + spark-jdbc + clickhouse-jdbc. Но решение через спарк выглядит как "из пушки по воробьям". Заранее спасибо!
почему из пушки?
6 строчек кода на спарк сс всего то, поддерживать легко
6 строчек кода на спарк сс всего то, поддерживать легко
DZ
Можно взять какой-нибудь стриминг типа fs2, monix
DZ
Если Спарк слишком
EP
Да не, я как раз таки и хочу услышать не жирно ли спарком просто данные переливать из кафки в CH, без какой либо логики и шафлов.
DM
"из пушки" тут выглядит ярн
DM
ну и если работать с тем же кликхаусом по наполнению надо будет не единожды, может иметь смысл рассмотреть конфигурируемые переливаторы аля флюм, кафка-коннект и прочие
DM
написать один раз синк для кх (если его нет еще)