M
очевидно что падает, у вас name clash
val df2 = df.withColumn("age",col("age").cast(StringType))
.withColumn("isGraduated",col("isGraduated").cast(BooleanType))
.withColumn("jobStartDate",col("jobStartDate").cast(DateType))
df2.printSchema()
Size: a a a
2019 November 14
DZ
В питоне не работает
IP
В питоне не работает
в скале
DZ
Дай другие имена новым полям
DZ
Мне казалось что в скале ок. Но все равно, попробуй другие имена
IP
через AS
IP
IP
DZ
Хуэз
DZ
.withColumn("SALES_INT", df.SALES.cast(IntegerType))
DM
Ребят, кто нибудь сталкивался с дессериализцией авро с использованием hortonworks schema registry в spark structured streaming?
DM
Дессерализацию ручками надо делать или возможно есть какой-то механизм который возвращает просто GenericRecord?
IP
.withColumn("SALES_INT", df.SALES.cast(IntegerType))
так тоже не выходит
DZ
Ой вей
DZ
.withColumn("SALES_INT", df.SALES.cast(IntegerType))
Ето питон
IP
Ето питон
блин
DZ
Комбайн ... Профит
DZ
val df2 = df.withColumn("age",col("age").cast(StringType))
.withColumn("isGraduated",col("isGraduated").cast(BooleanType))
.withColumn("jobStartDate",col("jobStartDate").cast(DateType))
df2.printSchema()
.withColumn("isGraduated",col("isGraduated").cast(BooleanType))
.withColumn("jobStartDate",col("jobStartDate").cast(DateType))
df2.printSchema()
DZ
.withColumn("SALES_INT", df.SALES.cast(IntegerType))
DZ
Может проще вообще схему передать?