DZ
так то я был уверен что ты знаешь про эту штуку
Size: a a a
2019 December 06
DZ
А что касаемо петонистов, я никак не забуду как чувак сказал что спарк говно тк даже медиану нормально посчитать не может, а вот пандас может
GP
А что касаемо петонистов, я никак не забуду как чувак сказал что спарк говно тк даже медиану нормально посчитать не может, а вот пандас может
ах вот ты к чему; и он сразу же предложил сделать редьюс на драйвер всего датафрейма?
ЕГ
Ну вот врядли дата тим шарит код с сотонистами
Мы не только шарим, мы бывает садимся и код друг за друга дописываем прямо в их ноутбучик, потому что так получается быстрее)
DZ
ах вот ты к чему; и он сразу же предложил сделать редьюс на драйвер всего датафрейма?
df.collect().toPandas().median()
DZ
Евгений Глотов
Мы не только шарим, мы бывает садимся и код друг за друга дописываем прямо в их ноутбучик, потому что так получается быстрее)
Но в этом отличие инженера от неинженера.
Ты садишься и пишешь начем надо. Максимум ворчишь в процессе
Ты садишься и пишешь начем надо. Максимум ворчишь в процессе
ЕГ
А что касаемо петонистов, я никак не забуду как чувак сказал что спарк говно тк даже медиану нормально посчитать не может, а вот пандас может
Ну, кстати, может же, select(expr("percentile(0.5, feature)"))
DZ
Евгений Глотов
Ну, кстати, может же, select(expr("percentile(0.5, feature)"))
да, approxQuantile
DZ
но этоже APPROX
DZ
а в пандас все четенько
DZ
Но в этом отличие инженера от неинженера.
Ты садишься и пишешь начем надо. Максимум ворчишь в процессе
Ты садишься и пишешь начем надо. Максимум ворчишь в процессе
Но как инженер, тебя должно тянуть к прекрасному (не питону, не xml конфигам, не раскаткой окружения через venv).
GT
Евгений Глотов
Ну, кстати, может же, select(expr("percentile(0.5, feature)"))
Самое смешное, что действительно нормально работает, да и ещё с даблами, и не надо городить монстров, как в хайве
В
Но в этом отличие инженера от неинженера.
Ты садишься и пишешь начем надо. Максимум ворчишь в процессе
Ты садишься и пишешь начем надо. Максимум ворчишь в процессе
Так какая разница на чем писать? Если есть желание именно кодить и именно на определенном языке - это другая профессия
В
Ну а если ты инжир по неволе - рынку нужны таланты
В
Выбирай любую другую профу
DZ
Так какая разница на чем писать? Если есть желание именно кодить и именно на определенном языке - это другая профессия
Лишь в стремлении к чему то хорошему.
Собсна Спарк на скале меня в инжиры и завёл.
Помню предлагали куда-то инжирить, но у них 80% были плюсы. И не то чтобы меня это напрягало
Собсна Спарк на скале меня в инжиры и завёл.
Помню предлагали куда-то инжирить, но у них 80% были плюсы. И не то чтобы меня это напрягало
DZ
Ну и немного интереснее работать с людьми которые много всего делали разного, чем с теми кто очередной сетап заказал у вендора и отрицает прогресс
ЕГ
Но в этом отличие инженера от неинженера.
Ты садишься и пишешь начем надо. Максимум ворчишь в процессе
Ты садишься и пишешь начем надо. Максимум ворчишь в процессе
Конкретно для нас важно обеспечить возможность одновременной интерактивной работы с хранилищем на кластере более ста человек, а также как минимум частичное переиспользование результатов этой самой интерактивной работы)
K
Hive, Scala, не мудак. Выбрать можно только одно
Можно выбрать Impala ?