AB
как и в отусе!!
Size: a a a
2020 September 17
AB
отус сам проходил, оч сжато и по делу
SS
коллеги, помогите ...
как добиться фильтрации столбцов ДатаФрейма только заданными в схеме/case-class?
как добиться фильтрации столбцов ДатаФрейма только заданными в схеме/case-class?
case class People (name: String, sex: Option[String])
import org.apache.spark.sql.{Encoder, Encoders}
implicit val peopleEncoder: Encoder[People] = Encoders.product[People]
val someDF = Seq(
("Mike", "M", Integer.valueOf(30)),
("John", "M", Integer.valueOf(50))
).toDF("name", "sex", "age")
someDF.show()
val peopleDF = someDF.as[People].toDF()
peopleDF.show()DZ
мы через селект по схеме делали
DZ
я про это и говорю
SS
я видимо неверно понимал работу преобразований датафрейм-датасет (((
DZ
а зочем делать toDF()
SS
потому что сигнатура метода требует аутпут в виде датафрейма
DZ
DZ
если так то без .as[U]
SS
спасибо!
SS
DZ
@pomadchin ты знаешь?
GP
неа, но есть вопрос - а как и надо ли?
SS
scala 2.11.10, spark 2.4.5
GP
к тому что, почему отсекание отсвтуюших в у столбцов должно быть?
GP
Ошибку так легко допустить
DZ
Ошибку так легко допустить
не понимать