Size: a a a

2020 December 16

V

Vasiliy in Data Engineers
Эх
источник

V

Vasiliy in Data Engineers
Эх
источник

V

Vasiliy in Data Engineers
Действительно....
источник

AZ

Anton Zadorozhniy in Data Engineers
да, я говорю что понимает человек в MPP и in-database analytics, как никто другой
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Что эх? Вот дернули число пи, что меняется с точки зрения выполнения, в кластере это запускают или нет?
источник

V

Vasiliy in Data Engineers
Это пример, хоспади
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Вы сами чушь не несите то
источник

V

Vasiliy in Data Engineers
Vladislav 👻 Shishkov
Вы сами чушь не несите то
У вас в каждом коде hello world
источник

V

Vasiliy in Data Engineers
Не иначе)
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Vasiliy
У вас в каждом коде hello world
Не хами
источник

AZ

Anton Zadorozhniy in Data Engineers
Vladislav 👻 Shishkov
Что эх? Вот дернули число пи, что меняется с точки зрения выполнения, в кластере это запускают или нет?
это шутка была, вообще фича сделана для запуска табличных операторов, когда таблица (точнее ее часть) передается процессу на питоне (Р, джулии, джаве или тупо по gRPC куда-то), запускается параллельно для кусков таблиц
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Приведите пример, как можно полноценно пользоваться и как ваш питон скрипт из баша будет работать в кластере
источник

AZ

Anton Zadorozhniy in Data Engineers
например у вас 100 млн строк о продажах по 10 тыс наименований, вам нужно научить 10 тыс моделей, вы хотите их учить параллельно и не выгружая из СУБД - вот такой кейс
источник

AZ

Anton Zadorozhniy in Data Engineers
источник

AZ

Anton Zadorozhniy in Data Engineers
вот пример на SQL который дергает https://github.com/Teradata/r-python-sto-orangebook-scripts/blob/master/scripts/ex3p.sql
источник

AZ

Anton Zadorozhniy in Data Engineers
(но это низкоуровневый апи, пользователь будет чем-то таким пользоваться, просто пишешь функцию и мапишь ее на датафрейм https://pypi.org/project/tdextensions/)
источник

AZ

Anton Zadorozhniy in Data Engineers
кто начал с того что это глупо?
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Да, посмотрел документацию и как работает и да, я от своих слов не отказываюсь
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Удобство, да, но не производительность и безопасность
источник

AZ

Anton Zadorozhniy in Data Engineers
я тоже не отказываюсь, вам виднее
источник