ММ
А почему?
Size: a a a
2021 July 12
AZ
Золотые слова
АЖ
Почему ту пандас не надо? Потому что это сводит на нет всю идею распределенных вычислений
AZ
Датафреймы как концепция уже довольно общее место (pyspark, koalas, verticapy, teradataml), начать обучение можно с панд, но тащить в панды с распределённых платформ не надо
AZ
Было бы ещё круто чтобы интерфейс у всех этих ДФ был един, как dplyr, но это питон, you can’t have nice things
AS
В R точно есть как минимум две библиотеки с концепцией data frame, нигде нет единообразия
AZ
Я не говорил про однообразие, пусть будет dplyr и data.table в питоне, мой намёк был на dplyr с его разными бэкендами
AG
Я вас понял, если я знаю хорошо пандас, то держа в голове концепцию спарка и нюансы параллельности, я смогу легко адаптироваться? Например, как держа в голове, что hive/impala не классический sql, где-то нужен другой подход, но синтаксис будет похож (Плюс/минус, меня кончено поправят😀)
NN
Нет
N
Вам нужно как минимум узнать, какие методы апи могут выполняться распределенно, а какие будут вытягивать всё на драйвер и обсчитываться на нём и использовать последние осознанно и с осторожностью.
AG
Понял, видимо лучше не ломать пальцы и пойти пройти обучение
N
А так, что одно, что второе-способ реализации реляционной логики асбстракциями языка высокого уровня.
N
Это ещё никому не навредило.
ЕГ
А как делать импорт иксджибуст🤔
ЕГ
Без тупандаса)
h
Удивлен, увидеть упоминание R в чате по data engineerng'у
AG
Спасибо
ЕГ
Спарк на R всё ещё существует)
ME
Вы пользуетесь?