DZ
дата волт тут ни при чем
Size: a a a
2020 August 05
SS
вброс не удался ((
АЖ
про дата вольт надо как-то интереснее вбрасывать 🙂
АЖ
про scd сраться скучно
АК
Кто-то по-быстрому подскажет, как в spark+scala задать в udf тип Array[String], чтобы заюзать в hiveql?
На скаловский Array[String] ругается...
На скаловский Array[String] ругается...
АК
sparkSession.udf.register("normArr", (input: Array[String]) => "aaa" )
Такое не проходит со столбцом
select normAr (xpath('DOC...') ) from
Такое не проходит со столбцом
select normAr (xpath('DOC...') ) from
N
На что ругается?
АК
scala.collection.mutable.WrappedArray$ofRef cannot be cast to [Ljava.lang.String;
Хм... где там стринг... только в возвр. значении...
Хм... где там стринг... только в возвр. значении...
АК
df.show() выводит столбец xpath() как ['val1','val2']
пишут, что
xpath returns a Hive array of strings
но какой это массив в скале...
пишут, что
xpath returns a Hive array of strings
но какой это массив в скале...
DZ
попробуй Seq[String]
АК
попробуй Seq[String]
О, подошло, спасибо!
Знач хайв массив - это в скале сиквенс...
Знач хайв массив - это в скале сиквенс...
DZ
Все массивы в скале seq
GP
попробуй Seq[String]
треш
АК
scala.collection.mutable.WrappedArray$ofRef cannot be cast to [Ljava.lang.String;
—-
Мой Array[String] у меня в скале получился mutable, а столбец требует значит immutable... Seq, видимо, оно самое.
—-
Мой Array[String] у меня в скале получился mutable, а столбец требует значит immutable... Seq, видимо, оно самое.
DZ
GP
scala.collection.mutable.WrappedArray$ofRef cannot be cast to [Ljava.lang.String;
—-
Мой Array[String] у меня в скале получился mutable, а столбец требует значит immutable... Seq, видимо, оно самое.
—-
Мой Array[String] у меня в скале получился mutable, а столбец требует значит immutable... Seq, видимо, оно самое.
нет, ты просто обманул его (обманул не то слово - помог)
GP
ну seq не самый лучший тип просто)
DZ
Не лучший, но по мне так норм варик здесь.