Size: a a a

2020 October 13

R

Renarde in Data Engineers
чистый DS, как мне кажется
источник

АЖ

Андрей Жуков... in Data Engineers
да небось DS-то через стенку ноутбук перебросил уже
источник

АЖ

Андрей Жуков... in Data Engineers
"надо шобы мои алгориитмы на 10к строк масштабировались на 10кк и питон превратился в скалу"
источник

AE

Alexey Evdokimov in Data Engineers
Renarde
чистый DS, как мне кажется
я техлид, мне приходится заниматься всем :(

и скрипты для облака писать, и алгоритмику оптимизировать. зато нескушно
источник

RY

Ruslan515 Y in Data Engineers
Добрый день. Вопрос. У нас Cassandra 2.1.6.  Работаю чз питон. Нужно считать более 30к записей (30к читает нормально) , но если взять больше то умирает. пробовал изменить время отклика в большую  сторону - не помогло. Что можно сделать?
источник

AE

Alexey Evdokimov in Data Engineers
Андрей Жуков
"надо шобы мои алгориитмы на 10к строк масштабировались на 10кк и питон превратился в скалу"
^ exactly.
источник

АЖ

Андрей Жуков... in Data Engineers
источник

АЖ

Андрей Жуков... in Data Engineers
ну мы k-means с пейтона на спарк как-то переносили, норм было
источник

АЖ

Андрей Жуков... in Data Engineers
даже ДСа научилии скалой пользоваться
источник

AS

Andrey Smirnov in Data Engineers
Андрей Жуков
ну мы k-means с пейтона на спарк как-то переносили, норм было
еще бы, там же это из коробки есть :)
источник

АЖ

Андрей Жуков... in Data Engineers
Andrey Smirnov
еще бы, там же это из коробки есть :)
ну дык дыа
источник

AN

Andrew Nasonov in Data Engineers
в спарке три накрутили же кучу вот этого всего, включая k-means
источник

AN

Andrew Nasonov in Data Engineers
или это было до третьего спарка?
источник

АЖ

Андрей Жуков... in Data Engineers
это и в 2.2 было
источник

AS

Andrey Smirnov in Data Engineers
Andrew Nasonov
или это было до третьего спарка?
вот и выросло поколение которое не помнит 1.6 спарк
https://spark.apache.org/docs/1.6.0/ml-clustering.html
источник

ME

Max Efremov in Data Engineers
Андрей Жуков
ну мы k-means с пейтона на спарк как-то переносили, норм было
гы, я так пандас на пайспарк переносил: функции одни и те же, удобно))
источник

ME

Max Efremov in Data Engineers
там даже алиасы есть, чтобы точно как в пандасе функции были
источник

АЖ

Андрей Жуков... in Data Engineers
Там еще и коалас есть,  чтоб дсы точно ножку не подвернули :)
источник

AA

Anton Alekseev in Data Engineers
Андрей Жуков
Там еще и коалас есть,  чтоб дсы точно ножку не подвернули :)
источник

АЖ

Андрей Жуков... in Data Engineers
Да,  примерно так я и выглядел,  посмотрев в логи драйвера :)
источник