Size: a a a

2019 November 19

IP

Ilya Pribytkov in Data Engineers
?
источник

RI

Rustam Iksanov in Data Engineers
ты аггрегировал как-то? Там можно указать alias для колонки.
источник

IP

Ilya Pribytkov in Data Engineers
Rustam Iksanov
ты аггрегировал как-то? Там можно указать alias для колонки.
типа такого alias(sum(COUNT))?
источник

RI

Rustam Iksanov in Data Engineers
Ilya Pribytkov
типа такого alias(sum(COUNT))?
возможно, но с таким написанием не сталкивался. Скорее sum().alias("")
источник

IP

Ilya Pribytkov in Data Engineers
Rustam Iksanov
возможно, но с таким написанием не сталкивался. Скорее sum().alias("")
источник

IP

Ilya Pribytkov in Data Engineers
чет не выходит
источник

AS

Anton Shelin in Data Engineers
sum("COUNT").alias('COUNT')
источник

IP

Ilya Pribytkov in Data Engineers
Anton Shelin
sum("COUNT").alias('COUNT')
источник

AS

Anton Shelin in Data Engineers
так в sum надо указать колонку по которой вы суммируете
источник

AS

Anton Shelin in Data Engineers
SALES например. я просто не понимаю что идет на выходе из calculateData
источник

AS

Anton Shelin in Data Engineers
а глянул посмотрел. ну у вас есть колонка sum('COUNT') уже. тоесть суммирования делать не надо
источник

IP

Ilya Pribytkov in Data Engineers
Anton Shelin
а глянул посмотрел. ну у вас есть колонка sum('COUNT') уже. тоесть суммирования делать не надо
как мне к ней обратиться, скажите пожалуйста?
источник

AS

Anton Shelin in Data Engineers
dfResult.select(f.col("sum(\'COUNT\')"))
источник

AS

Anton Shelin in Data Engineers
если скала то f.col это примерно так $"sum(\'COUNT\')"
источник

AS

Anton Shelin in Data Engineers
я скалу не пользовал могу ошибатся
источник

AS

Anton Shelin in Data Engineers
или использовать alias внутри функции calculateData
источник

AS

Anton Shelin in Data Engineers
я думаю вам стоит почитать книжку по спарку
источник

AS

Anton Shelin in Data Engineers
аггрегирующая функция например sum от col1 даст по умолчанию название колонки 'sum('col1')'
источник

AS

Anton Shelin in Data Engineers
для того чтобы это поменять надо использовать alias
источник

AS

Anton Shelin in Data Engineers
хотя из лога видно что у вас колонки идут без кавычек тоесть возможно так 'sum(COUNT)'
источник