A
Всем привет. Подскажите, почему при использовании decimal типа в спарке null трактуется как 0? Это так и задумано? Не могу нигде информации найти по этому поводу.
Size: a a a
2020 August 10
GP
Всем привет. Подскажите, почему при использовании decimal типа в спарке null трактуется как 0? Это так и задумано? Не могу нигде информации найти по этому поводу.
поясни что ты имеешь ввиду кодом
A
поясни что ты имеешь ввиду кодом
val df1 = Seq(
(BigDecimal("1.11"), BigDecimal("0.00")),
(BigDecimal("0.00"), BigDecimal("2.22")),
(null, BigDecimal("3.33"))
)
.toDF("col1", "col2")
df1.filter(col("col1") =!= 0).show()
A
в результате получаю одну строчку - первую. Хотя, должен получить первую и третью. Или я что-то делаю не так?)
AS
в результате получаю одну строчку - первую. Хотя, должен получить первую и третью. Или я что-то делаю не так?)
сравнение с null дает тебе false
df1.filter(col("col1") > -1).show третью строчку не вернет
df1.filter(col("col1") > -1).show третью строчку не вернет
A
сравнение с null дает тебе false
df1.filter(col("col1") > -1).show третью строчку не вернет
df1.filter(col("col1") > -1).show третью строчку не вернет
то есть null =!= 0 это false? почему?
AS
то есть null =!= 0 это false? почему?
а почему оно должно быть true? ты же сравниваешь не числа, так принято со времен sql
если тебе вместо null адо 0, то тогда делай fillna
если тебе вместо null адо 0, то тогда делай fillna
AS
то есть null =!= 0 это false? почему?
DZ
нет, это не оно
DZ
сравнение с нулом это всегда боль. я считаю что сравнение с нулом всегда дает нул
DZ
я бы советовал не использовать нул, а завернуть в опшн. и написать свой инстанс для сравнения опшенов который вам хочется
AS
сравнение с нулом это всегда боль. я считаю что сравнение с нулом всегда дает нул
DZ
я знаю, я ж сказал что имхо
O
коллеги кто какие ресурсы/каналы читает, чтобы в курсе быть индустрии? я про работу с данными
A
тех задание
A
а потом смотрите список требуемых технологий и дальше в гугл
AE
окей гугл, как написать тех задание
N
коллеги кто какие ресурсы/каналы читает, чтобы в курсе быть индустрии? я про работу с данными
смотря, что понимать под работой с данными. для инжиров ресурсы одни, для саентологов-другие, для гувернеров-третьи, для балаболов и прочих визионеров-четвертые.
O
все стараюсь читать
O
BI еще до кучи