VE
но вот как есть
Size: a a a
2019 November 05
EV
попробуйте livy
EV
прямо с апи сервера
EV
у меня поделка на django+celery сделана
VE
у нас довольно сложная приложуха, которой ещё нужно и напрямую с hdfs работать и с hive, на ливи всё это переписывать - месяцы работы
EV
и эта же приложуха ходит в s3 и hive и что-то там меняет если надо
EV
но это все переделать придется, да
VE
мы там кучу динамических зависимостей (файлов) тянем, которые должны присутствовать на машине откуда спарк стартует
AZ
в EMR на HDFS не надо ничего особенного делать, это временное хранилище
VE
ну мы загружаем туда временные файлы :)
EV
VE
справочники и всё такое
AZ
Livy нужен для интерактива, на него удобно например юпитер посадить
EV
в EMR отлично все летит из s3
VE
да, но опять таки нужно переписывать
EV
Livy нужен для интерактива, на него удобно например юпитер посадить
согласен, но и батчи отлично разруливаются
AZ
пакетные джобы просто навешиваете в команду запуска кластера, терминация по успеху - все быстро и без лишних ресурсов
EV
пакетные джобы просто навешиваете в команду запуска кластера, терминация по успеху - все быстро и без лишних ресурсов
ну как, 10 минут оверхеда все равно есть
C
Mekiy Hossain has been banned! Reason: CAS ban.
AZ
ну как, 10 минут оверхеда все равно есть
ну вы же не держите эти кластера все время, можно запустить кластер, толкнуть последовательно джобы, тем более у вас наверняка maximizeResourceAllocation включен и параллельно запускать джобы смысла нет, и на последнем дропнуть кластер, и не нужно ничего снаружи оркестировать