Size: a a a

2021 July 12

ME

Mikhail Epikhin in Data Engineers
Если да, то почему? legacy?
источник

h

helby in Data Engineers
Это я знаю, но ведь не все деятельность к spark сводиться?

Да и просто диссонанс, в вакансиях везде питон, а тут про Р читаю, хотя только вступил в группу)
источник

ЕГ

Евгений Глотов... in Data Engineers
Не, мы не пользуемся, но я видел, что дсы применяли R, когда реализация статьи на питоне ещё не вышла)
источник

AZ

Anton Zadorozhniy in Data Engineers
R не часто встречается, но есть довольно крупные команды где все на R (и веб приложения которые аналитику показывают)
источник

АЖ

Андрей Жуков... in Data Engineers
можно делать это
а) более изящно,
б) с использованием нативного хгбуста
источник

ЕГ

Евгений Глотов... in Data Engineers
Ту, которая не сводится, можно свести😆
источник

ЕГ

Евгений Глотов... in Data Engineers
Не привлекая внимание архитекторов)
источник

h

helby in Data Engineers
Даже ETL, пайплайны и всё вот это?
По скорости работы тоже самое?
источник

ME

Mikhail Epikhin in Data Engineers
ну может быть и пошустрее питона
источник

ЕГ

Евгений Глотов... in Data Engineers
Нативный кстати проверяли - либо работает непонятно как, либо теряет точность😐
может конечно у кого-то есть история успеха на реальных данных, но пока не видел, чтоб кто-то поделился)
источник

AZ

Anton Zadorozhniy in Data Engineers
Если написано на dplyr с использованием бэкенда для конкретной системы (терадаты например :)) то разницы с реализацией на 1st party языке может и не быть
источник

h

helby in Data Engineers
Кажется, лучше уже data.table

Там параллелизм возможен, и вообще быстрее работает
источник

AZ

Anton Zadorozhniy in Data Engineers
Это если локально, а если вы просто посылаете генерируемый SQL на какой-то кластер - то нужно что-то что умеет генерировать этот SQL
источник

h

helby in Data Engineers
Понял, стало открытием если честно, R в дата инженеринге

Хотя и приятное открытие)
источник

AZ

Anton Zadorozhniy in Data Engineers
R в веб-разработке вы тоже не видели?
источник

h

helby in Data Engineers
Ну если только Shiny....
источник

ME

Mikhail Epikhin in Data Engineers
Я с R сталкивался дважды, 1 раз когда в вузе пробовал, и второй раз когда кто-то сделал обработку терабайтов логов на R, ему не хватало памяти, мне дали по наследству и сказали что нужно сделать так чтобы работало
источник

ME

Mikhail Epikhin in Data Engineers
запускалось в screen из хомяка, конечно
источник

ME

Mikhail Epikhin in Data Engineers
почему-то обходил стороной:(
источник

h

helby in Data Engineers
Было бы очень интересно узнать поконкретнее, если можно)
источник