Size: a a a

2020 December 16

N

Nikita Blagodarnyy in Data Engineers
Stanislav
многовато скриптов надо навернуть в гитлабе
по идее ж надо смотреть на корень и увеличение версии конкретного модуля?
ну а если версия не увеличилась?
источник

AZ

Anton Zadorozhniy in Data Engineers
Mikhail Butalin
Подскажите пожалуйста.
А я правильно понимаю что любой запрос к паркету, даже через импалу - это последовательное чтение таблицы всегда?
Плюс-минус PDO и partition elimination - да
источник

S

Stanislav in Data Engineers
Nikita Blagodarnyy
ну а если версия не увеличилась?
тогда по идее наложить маску на путь до модуля
не работал с таким мавеном, а вот в сбт с модулями вроде все так
вытащить путь до модуля, где произошли изменения и запустить там сбт тесты
непонятно, стоит ли прогонять такие штуки на обычные коммиты - жалко ресурсов
вот делать это на пул/мердж реквесты - да, а там как раз  появляются новые циферки в версиях
источник

S

Stanislav in Data Engineers
Mikhail Butalin
Подскажите пожалуйста.
А я правильно понимаю что любой запрос к паркету, даже через импалу - это последовательное чтение таблицы всегда?
а импала разве не умеет кешировать часть запросов?
я думал, что в этом ее соль была
источник

AZ

Anton Zadorozhniy in Data Engineers
Stanislav
а импала разве не умеет кешировать часть запросов?
я думал, что в этом ее соль была
Page cache, но это не делает чтение индексным, это все равно скан
источник

MB

Mikhail Butalin in Data Engineers
Stanislav
а импала разве не умеет кешировать часть запросов?
я думал, что в этом ее соль была
да вот хз, не разобрался пока
источник

MB

Mikhail Butalin in Data Engineers
Просто у меня одарённые разработчики создали архивную систему на 0.5PB и чпокают ее запросами через HIVE

Как думаете на сколько быстро она работает? :)
источник

S

Stanislav in Data Engineers
зависит от железок
источник

S

Stanislav in Data Engineers
ну и того, как уложено
источник

MB

Mikhail Butalin in Data Engineers
согласен
источник

NN

Nordic Nordic in Data Engineers
Добрый день,Кто сдавал экзамен по Кафке Админ парт?
источник

MB

Mikhail Butalin in Data Engineers
но я про другое
источник

NN

Nordic Nordic in Data Engineers
CCOAK
источник

MB

Mikhail Butalin in Data Engineers
Я прото что не будет ли медленнее тот же самый запрос работать через HIVE нежели через Impala?
источник

MB

Mikhail Butalin in Data Engineers
в hive же любой запрос фулскан.
источник

MB

Mikhail Butalin in Data Engineers
Или я не правильно понимаю ситуацию?
источник

S

Stanislav in Data Engineers
Mikhail Butalin
Я прото что не будет ли медленнее тот же самый запрос работать через HIVE нежели через Impala?
одинаково, большей частью
источник

MB

Mikhail Butalin in Data Engineers
хм
источник

MB

Mikhail Butalin in Data Engineers
странно
источник

UD

Uncel Duk in Data Engineers
получше будет с орком
источник