Size: a a a

2020 July 31

A

Alex in Data Engineers
Igor
Ну в общем-то на лету получается, только sla большой
совсем как тут с sla
источник

AK

Alex Krash in Data Engineers
Nikita Blagodarnyy
это slow latency
т.е. если я думаю "затащить presto, или попробовать llap", то последний даже не смотреть?
источник

N

Nikita Blagodarnyy in Data Engineers
llap если не медленнее, то точно не ощутимо быстрее
источник

N

Nikita Blagodarnyy in Data Engineers
он сокращает время на старт, потому что приложение висит в памяти в slider и какие-то контейнеры он уже себе отъел
источник

AZ

Anton Zadorozhniy in Data Engineers
Alex Krash
т.е. если я думаю "затащить presto, или попробовать llap", то последний даже не смотреть?
llap намного менее зрелая технология
источник

UD

Uncel Duk in Data Engineers
престу затаскивать только в отдельный кластер либо ярн отрубать
источник

AK

Alex Krash in Data Engineers
Uncel Duk
престу затаскивать только в отдельный кластер либо ярн отрубать
а в самом ярне её крутить?
источник

UD

Uncel Duk in Data Engineers
Alex Krash
а в самом ярне её крутить?
не разумеет в ярн
источник

UD

Uncel Duk in Data Engineers
слайдер мертв, в ярн сервисы не умеет
источник

UD

Uncel Duk in Data Engineers
шафлится в директории yarn local тоже
источник

AK

Alex Krash in Data Engineers
принято, спасибо за инфо
источник

UD

Uncel Duk in Data Engineers
источник

UD

Uncel Duk in Data Engineers
сейчас я выкручиваюсь тем что откусил ресурсы у ярна, и используем  джентльменское соглашение
источник

А

Алексей in Data Engineers
llap еще буферный кэш держит между разными сессиями
источник

UD

Uncel Duk in Data Engineers
не пускать тензорфлоу и престу одноврменно, а ресурсы свободные смотреть в прометее
источник

UD

Uncel Duk in Data Engineers
вместо морды ярна
источник

AZ

Anton Zadorozhniy in Data Engineers
Если у вас энтерпрайз то имеет смысл посмотреть на престо дистрибутив Starburst - из коробки бежит в k8s, есть масса полезных коннекторов и улучшений по сравнению с prestodb/prestosql
источник
2020 August 01

АЖ

Андрей Жуков... in Data Engineers
Anton Zadorozhniy
Если у вас энтерпрайз то имеет смысл посмотреть на престо дистрибутив Starburst - из коробки бежит в k8s, есть масса полезных коннекторов и улучшений по сравнению с prestodb/prestosql
*если у вас энтерпрайз и есть бюджет
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
Нет, зачем нам такое, просто тащит данные из объектного стораджа
Прям из кеша процессоров аппаратной платформы
источник

ПБ

Повелитель Бури... in Data Engineers
Доброе утро! Подскажите пожалуйста нужно в hdfs 2 parquet джойнить по расписанию. Hive   норм? Или спарки городить? Спасибо
источник