Телеграмм чат группы hadoopusers страница 3462

Ни..я не понимаю что он пишет про col.. Что хочет. На Zeppelin делаю %spark

19:57пожаловаться #1

N

Привет 👋
Хорошо всё шло.. Но дальше запнулся и что-то не знаю.. Изучаю Scala потихоньку.
Есть
| uid | timestamp|
---------------------
| 555 | 12356788|
| 555 | 16776678|
| 555 | 16657556|
Ну в общем uid дофига одинаковых есть, но из поля timestamp надо выбрать наибольшее значение и вывести с uid. Одна строка получится. Пытаюсь max(expr) использовать:
.withColumn("c_max", max(col("timestamp")))
Но что-то не так делаю. Подскажите или пример такой же скиньте плиз!?

так не работает. пиши df.groupBy(«uid»).agg(max(«timestamp»))

19:58пожаловаться #2

AE

Alexey Evdokimov in Data Engineers

на английском пишет поди. переводчик нужен.

19:58пожаловаться #3

N

Привет 👋
Хорошо всё шло.. Но дальше запнулся и что-то не знаю.. Изучаю Scala потихоньку.
Есть
| uid | timestamp|
---------------------
| 555 | 12356788|
| 555 | 16776678|
| 555 | 16657556|
Ну в общем uid дофига одинаковых есть, но из поля timestamp надо выбрать наибольшее значение и вывести с uid. Одна строка получится. Пытаюсь max(expr) использовать:
.withColumn("c_max", max(col("timestamp")))
Но что-то не так делаю. Подскажите или пример такой же скиньте плиз!?

но если тебе так тяжко и кейс-класса нету на агрегат, то напиши spark.sql(«select ololo from 111 group by tose»)

20:00пожаловаться #4

SK

так не работает. пиши df.groupBy(«uid»).agg(max(«timestamp»))

Вот что-то про не возможность группировки

20:01пожаловаться #5

SK

Alexey Evdokimov

на английском пишет поди. переводчик нужен.

Не в зоне русского литературного пишет 😁

20:02пожаловаться #6

AE

Alexey Evdokimov in Data Engineers

ну так процитируй чего он там пишет. народ тут подскажет как это понимать

20:03пожаловаться #7

SK

Да не вопрос.. Отошёл просто от рабочего места. Минут через 5ть напишу конечно

20:04пожаловаться #8

N

«Цифровой след оставляют все»

Вы вот тут сидите со своими спарками, а в ВТБ, между прочим, технологии будущего применили. Сливают данные из разных источников, не баран начхал.

https://www.forbes.ru/brandvoice/vtb/424867-cifrovoy-sled-ostavlyayut-vse

Forbes.ru

Слияние данных из разных источников — технология и настоящего, и будущего. Сегодня она дает возможность работать с big data, завтра будет способствовать появлению множества новых продуктов. О том, как технология помогает в достижении бизнес-результатов и о чем будут говорить участники первой международной конференции Data Fusion — в интервью Максима Коновалихина, главы департамента анализа данных и моделирования ВТБ

20:15пожаловаться #9

SK

так не работает. пиши df.groupBy(«uid»).agg(max(«timestamp»))

О! Чудо расчудесное 😁
Скопировал отсель 1:1 и отработал вроде. До этого по ссылке делал, где
groupBy($"key").agg(max($"value") - но вот от неё ругачка была

20:16пожаловаться #10

ME

Max Efremov in Data Engineers

«Цифровой след оставляют все»

Вы вот тут сидите со своими спарками, а в ВТБ, между прочим, технологии будущего применили. Сливают данные из разных источников, не баран начхал.

https://www.forbes.ru/brandvoice/vtb/424867-cifrovoy-sled-ostavlyayut-vse

Forbes.ru

Слияние данных из разных источников — технология и настоящего, и будущего. Сегодня она дает возможность работать с big data, завтра будет способствовать появлению множества новых продуктов. О том, как технология помогает в достижении бизнес-результатов и о чем будут говорить участники первой международной конференции Data Fusion — в интервью Максима Коновалихина, главы департамента анализа данных и моделирования ВТБ

Даталейк?

20:16пожаловаться #11

N

Max Efremov

Даталейк?

Лучше. Datafusion!

20:17пожаловаться #12

R

Renarde in Data Engineers

DataFusion: A Rust-native Query Engine for Apache Arrow

Лучше. Datafusion!

я поначалу подумал - ничо себе, в Apache Arrow контрибьютят...

https://arrow.apache.org/blog/2019/02/04/datafusion-donation/

Apache Arrow

We are excited to announce that DataFusion has been donated to the Apache Arrow project. DataFusion is an in-memory query engine for the Rust implementation of Apache Arrow.

20:21пожаловаться #13

SK

А теперь поле timestamp в дату перевести как лучше?
Смотрю в Built-in Function
на "to_utc_timestamp"
Но как корректно его прописать, что бы вывести
uid | date
555 | 2021-08-03 lalala...?

20:25пожаловаться #14

N

А теперь поле timestamp в дату перевести как лучше?
Смотрю в Built-in Function
на "to_utc_timestamp"
Но как корректно его прописать, что бы вывести
uid | date
555 | 2021-08-03 lalala...?

ну там еще другие всякие функции есть про timestamp, посмотри их тоже

20:33пожаловаться #15

AZ

Anton Zadorozhniy in Data Engineers

«Цифровой след оставляют все»

Вы вот тут сидите со своими спарками, а в ВТБ, между прочим, технологии будущего применили. Сливают данные из разных источников, не баран начхал.

https://www.forbes.ru/brandvoice/vtb/424867-cifrovoy-sled-ostavlyayut-vse

Forbes.ru

Слияние данных из разных источников — технология и настоящего, и будущего. Сегодня она дает возможность работать с big data, завтра будет способствовать появлению множества новых продуктов. О том, как технология помогает в достижении бизнес-результатов и о чем будут говорить участники первой международной конференции Data Fusion — в интервью Максима Коновалихина, главы департамента анализа данных и моделирования ВТБ

Одна большая реклама GDPR, CCPA и прочих хороших аббревиатур

20:33пожаловаться #16

SK

ну там еще другие всякие функции есть про timestamp, посмотри их тоже

Да там конкретные примеры есть на spark.apache.org/doc
В виде:
SELECT to_utc_.. Начинаешь в запрос вставлять и так и эток.. Ругается.. Ну я пряник пока в Scala.. Но даж не знаю что ещё прочитать про синтаксис может, что-то не туда пихаю..😅

20:36пожаловаться #17

s

skatromb in Data Engineers

Да там конкретные примеры есть на spark.apache.org/doc
В виде:
SELECT to_utc_.. Начинаешь в запрос вставлять и так и эток.. Ругается.. Ну я пряник пока в Scala.. Но даж не знаю что ещё прочитать про синтаксис может, что-то не туда пихаю..😅

Скорее всего тип данных не тот пихаешь

20:37пожаловаться #18

SK

А строковый из df

20:39пожаловаться #19

SK

Сейчас в обще не из df
Uid === "555", а timestamp подтягивается строковый из БД (не знаю как проверить но был string).