Size: a a a

2019 November 19

IP

Ilya Pribytkov in Data Engineers
Anton Shelin
для того чтобы это поменять надо использовать alias
источник

AS

Anton Shelin in Data Engineers
если надо переименовать колонку то надо использовать withcolumnrenamed
источник

IP

Ilya Pribytkov in Data Engineers
Anton Shelin
если надо переименовать колонку то надо использовать withcolumnrenamed
да все пошло, только почемуто аррэй пустой получается
источник

AS

Anton Shelin in Data Engineers
Попробуйте без кавычек col('sum(COUNT)')
источник

AS

Anton Shelin in Data Engineers
Там в логе видны названия колонок после агрегации
источник

IP

Ilya Pribytkov in Data Engineers
Anton Shelin
Там в логе видны названия колонок после агрегации
Если я беру колонку, то как мне к ее элементам обращаться?
источник

AS

Anton Shelin in Data Engineers
Ilya Pribytkov
Если я беру колонку, то как мне к ее элементам обращаться?
.collect()
источник

IP

Ilya Pribytkov in Data Engineers
Колонка это вообще массив?
источник

AS

Anton Shelin in Data Engineers
Ilya Pribytkov
Колонка это вообще массив?
нет
источник

IP

Ilya Pribytkov in Data Engineers
А что?
источник

AS

Anton Shelin in Data Engineers
Ilya Pribytkov
А что?
колонка
источник

IP

Ilya Pribytkov in Data Engineers
Как обратиться к элементу колонки?
источник

AS

Anton Shelin in Data Engineers
Ilya Pribytkov
Как обратиться к элементу колонки?
.collect()
источник

AS

Anton Shelin in Data Engineers
df.select("array").rdd.flatMap(lambda x: x).collect()
источник

AS

Anton Shelin in Data Engineers
ну скале по другому
источник

IP

Ilya Pribytkov in Data Engineers
Anton Shelin
ну скале по другому
Что коллект вернет?
источник

AS

Anton Shelin in Data Engineers
Ilya Pribytkov
Что коллект вернет?
почитайте документацию
источник

RI

Rustam Iksanov in Data Engineers
Ilya Pribytkov
Что коллект вернет?
У тебя скала и idea там можно типы посмотреть
источник

DM

Daniel Matveev in Data Engineers
Anton Zadorozhniy
а можно ссылку?
прошу прощения за мой альцгеймер, я в очередной раз спутал их стримы с коннектами (в последних немножко автматических штук добавлено и есть апиха)
источник

AZ

Anton Zadorozhniy in Data Engineers
Daniel Matveev
прошу прощения за мой альцгеймер, я в очередной раз спутал их стримы с коннектами (в последних немножко автматических штук добавлено и есть апиха)
да, kafka connect в распределенном режиме это кластер application серверов с restful api и каким-никаким таск менеджментом
источник