ME
Там еще и коалас есть, чтоб дсы точно ножку не подвернули :)
ох, чего только нет)
Size: a a a
2020 October 13
AA
Да, примерно так я и выглядел, посмотрев в логи драйвера :)
Это я ногу стараюсь не подвернуть😁
ME
DE больше не нужны, DS могут пандас в кластере крутить сразу?
AE
одно дело дать дсу поиграться с маленькой выборкой
AE
совсем другое когда надо поставить на поток и заавтоматизировать настоящую выборку для прода
AE
тут блин с питоном вылететь в трубу как нефиг делать
AE
кому блин нужны проекты за десятки тыщ $... да ни у кого столько бабла нет.
AE
вот 40$ за один расчёт совсем другое дело, это продаётся
ME
pyspark вроде не особо медленнее спарка на скале
ME
в UDF были вроде сложности, но кажется их решили
АЖ
pyspark вроде не особо медленнее спарка на скале
в кубах намного больнее за счет умения пейтона уйти из рамок контейнера
AE
мы за три года примерно так и смасштабировались. от ~4000$ за одиночный проект по <миллионным датасетам до 40$ за проект по сотням миллионов сырых записей по подписной модели. но приходится байты и циклы считать
AE
ну и сильно морочиться с алгоритмикой
AE
а ещё исключать человеческий фактор как самый дорогой
AE
сказал бы мне кто три года тому, во что я ввязываюсь, подумал бы ещё, стоит ли :)
ME
в кубах намного больнее за счет умения пейтона уйти из рамок контейнера
О_о Интересно там. У нас по-старинке yarn ресурсами рулит
A
в UDF были вроде сложности, но кажется их решили
вроде как они там и остались если UDF в чистом виде юзать без тех новых костылей, что напридумывали
AX
Ты просишь совета, но делаешь это без уважения, так что бери карандаши и отрисовывай.
Мудило с одной «л» пишется?
АЖ
О_о Интересно там. У нас по-старинке yarn ресурсами рулит
ну ты и сравни утилизацию
UD
Там еще и коалас есть, чтоб дсы точно ножку не подвернули :)
надо его внутри продать