Телеграмм чат группы hadoopusers страница 1762

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу

2019 November 13

RI

Rustam Iksanov in Data Engineers

ребята вот как мне взять из одного дататфреема сделать другой дата фрейм с модефицмрованнными колонками или вообще с новыми на основе старых, тоесть в двух новых должны быть старые а третья новая в которой отношение значений двух старых

withColumn добавит новую колонку

источник

16:47пожаловаться #1

RI

Rustam Iksanov in Data Engineers

сделай udf и потом так `withColumn("newColumn", udf($"oldColumn"))

источник

16:48пожаловаться #2

RI

Rustam Iksanov in Data Engineers

если спарк умеет, то он может сам вычислить отношения между колонками, например, если нужно вычислить просто сумму между ними

источник

16:48пожаловаться #3

IP

Ilya Pribytkov in Data Engineers

сделай udf и потом так `withColumn("newColumn", udf($"oldColumn"))

https://scastie.scala-lang.org/CfkXOnRJQlCsfbhyI6DPQA

Scastie - An interactive playground for Scala.

Scastie can run any Scala program with any library in your browser. You don’t need to download or install anything.

источник

17:10пожаловаться #4

IP

Ilya Pribytkov in Data Engineers

в 16 строке с udf не прокатило...

источник

17:11пожаловаться #5

RI

Rustam Iksanov in Data Engineers

https://scastie.scala-lang.org/CfkXOnRJQlCsfbhyI6DPQA

Scastie - An interactive playground for Scala.

Scastie can run any Scala program with any library in your browser. You don’t need to download or install anything.

udf -> user defined function

источник

17:11пожаловаться #6

IP

Ilya Pribytkov in Data Engineers

udf -> user defined function

ахах

источник

17:12пожаловаться #7

M

Mi in Data Engineers

ахах

Вам бы сначала основы спарка подучить, базовые вещи же

источник

17:14пожаловаться #8

IP

Ilya Pribytkov in Data Engineers

Вам бы сначала основы спарка подучить, базовые вещи же

например

источник

17:14пожаловаться #9

AS

Anton Shelin in Data Engineers

если на входе 2 колонки col1, col2 то вам надо например так df = df.withColumn("res", f.col('col1') > f.col('col2')) в результате будет датафрейм с 3мя колонками col1,col2,res в res будет результат отношения между col1 и col2

источник

17:15пожаловаться #10

M

Mi in Data Engineers

например

ну хотя бы так https://github.com/hhbyyh/DataFrameCheatSheet

hhbyyh/DataFrameCheatSheet

Cheatsheet for Spark DataFrame. Contribute to hhbyyh/DataFrameCheatSheet development by creating an account on GitHub.

источник

17:17пожаловаться #11

IP

Ilya Pribytkov in Data Engineers

ну хотя бы так https://github.com/hhbyyh/DataFrameCheatSheet

hhbyyh/DataFrameCheatSheet

Cheatsheet for Spark DataFrame. Contribute to hhbyyh/DataFrameCheatSheet development by creating an account on GitHub.

спасибо

источник

17:34пожаловаться #12

IP

Ilya Pribytkov in Data Engineers

если на входе 2 колонки col1, col2 то вам надо например так df = df.withColumn("res", f.col('col1') > f.col('col2')) в результате будет датафрейм с 3мя колонками col1,col2,res в res будет результат отношения между col1 и col2

f.col('col1') > f.col('col2')) f - это что?

источник

17:40пожаловаться #13

AS

Anton Shelin in Data Engineers

f.col('col1') > f.col('col2')) f - это что?

в pyspark это синоним from pyspark.sql import functions as f, тоже самое что в скале $"columnName"

источник

17:44пожаловаться #14

AS

Anton Shelin in Data Engineers

в pyspark это синоним from pyspark.sql import functions as f, тоже самое что в скале $"columnName"

в скале можно и так import org.apache.spark.sql.functions.col

источник

17:45пожаловаться #15

ЕГ

Евгений Глотов in Data Engineers

в pyspark это синоним from pyspark.sql import functions as f, тоже самое что в скале $"columnName"

Press f to spark.sql😆

источник

17:46пожаловаться #16

ЕГ

Евгений Глотов in Data Engineers

В питоне тоже можно from pyspark.sql.functions import *

источник

17:47пожаловаться #17

AS

Anton Shelin in Data Engineers

Евгений Глотов

В питоне тоже можно from pyspark.sql.functions import *

ну это плохо так как все импортится в общее болото

источник

17:48пожаловаться #18

AS

Anton Shelin in Data Engineers

ну это плохо так как все импортится в общее болото

так то да можно

источник

17:49пожаловаться #19

ЕГ

Евгений Глотов in Data Engineers

ну это плохо так как все импортится в общее болото

Да пофиг, встроенные функции можно и через builtins достать)

источник

17:52пожаловаться #20