оно бежит на этом же кубер кластере у вас в аккаунте

тут все ради клиента - они не берут с вас денег за дашборд, только за ваши таски с бизнес-логикой, и экзекьюторы максимально легкими сделаны для этого

не-не, в коммерческих компаниях работают исключительно группы единомышленников, которые за честь улучшать мир готовы трудится и выкладывать плоды трудов всем на пользу)

вот всегда так думал

Добрый день! Ктонибудь сталкивался с ошибкой в spark 'connection refused' + указана нода .при запуске sql select * from T1 left join T2 . Возникает если в запросе присутствует конкретная таблица T2. на других таблицах работает.

Не всетречали такой ошибки?

java.lang.RuntimeException: java.io.IOException: Cannot run program "/usr/lib/spark/bin/spark-submit": error=24, Too many open files

google://ulimit

java.lang.RuntimeException: java.io.IOException: Cannot run program "/usr/lib/spark/bin/spark-submit": error=24, Too many open files

дескрипторы кончились

:( Это Livy такое пишет, наверное придётся EMR пересоздать...

дык файловые дескрипторы надо освобождать наверное, не?

а оно самое не умеет? К сожалению, ssh  в кластер нет(

всмысле "оно само". не-не, эт скорее всего какой-то прикладной код дурит

само спарковое приложение вот что делает?

У нас запускаются интерактивные сессии через Livy и там пайспарковый код

Читаем, джойним, пишем, ничего необычного вроде нет

Всем привет. 16 сентября приглашаем на вебинар Data Science! Участие бесплатное.

В программе 3 доклада:

🔹Павел Шашкин, Senior Data Scientist, расскажет про новый язык для высокопроизводительных вычислений Julia и области его применения.

🔹Екатерина Деревянка, Data Scientist, поделится опытом реконструкции позы человека в 3D. Доклад будет интересен тем, кто работает с Pose Estimation, занимается задачами компьютерного зрения или просто увлекается машинным обучением.

🔹Сергей Смирнов, Lead Data Scientist, выступит с докладом о построении рекомендательных систем – от ритейла до хедж-фонда.

После доклада вы сможете задать спикерам вопросы.

🗓 Дата: 16 сентября
⏰ Начало: 18:00 МСК
🏠 Формат: online

Регистрация: https://epa.ms/datascience-webinar-epam

дык, вопрос что конкретно делает этот код и как именно он это делает

может он создаёт мильёны временных файлов

‼️Самое важное в Data Engineers Group‼️

16 сентября приглашаем на вебинар Data Science! Участие бесплатное.

В программе 3 доклада:

🔹Павел Шашкин, Senior Data Scientist, расскажет про новый язык для высокопроизводительных вычислений Julia и области его применения.

🔹Екатерина Деревянка, Data Scientist, поделится опытом реконструкции позы человека в 3D. Доклад будет интересен тем, кто работает с Pose Estimation, занимается задачами компьютерного зрения или просто увлекается машинным обучением.

🔹Сергей Смирнов, Lead Data Scientist, выступит с докладом о построении рекомендательных систем – от ритейла до хедж-фонда.

После доклада вы сможете задать спикерам вопросы.

🗓 Дата: 16 сентября
⏰ Начало: 18:00 МСК
🏠 Формат: online

Регистрация: https://epa.ms/datascience-webinar-epam

// post by @lisa_iva

🔹 Moscow Spark #10 будет в онлайне. Всем потенциальным докладчикам писать @pklemenkov

хм, в кластере висят старые сессии цеппелина, мб они там все ресурсы съели