Size: a a a

2021 July 05

AC

Alexander Chermenin in Data Engineers
A:\setup.exe
источник

S

Sebastian in Data Engineers
я бы пошел на курсы по хадупу. сейчас работаю с мариейдб и ораклом. оракл быстрый, мария медленная. мечтаю накатить и ускорить етл, которых пока не очень много. можете посоветовать курсы?
источник

СХ

Старый Хрыч... in Data Engineers
хадум это не про скорость а про обьёмы
источник

K

KrivdaTheTriewe in Data Engineers
Про фрупут
источник

K

KrivdaTheTriewe in Data Engineers
Есть летенси
источник

K

KrivdaTheTriewe in Data Engineers
Есть фрупут
источник

СХ

Старый Хрыч... in Data Engineers
на 100-500 тб - оракл будет куда быстрее
источник

S

Sebastian in Data Engineers
у меня некоторые таблицы имеют 180 миллионов записей. в итоге все долго исполняется
источник

S

Sebastian in Data Engineers
как лечить?
источник

СХ

Старый Хрыч... in Data Engineers
а в hive без индексов будет быстрее?
источник

K

KrivdaTheTriewe in Data Engineers
Да
источник

СХ

Старый Хрыч... in Data Engineers
😕
источник

K

KrivdaTheTriewe in Data Engineers
Индексы не нужны
источник

K

KrivdaTheTriewe in Data Engineers
Спарком прочитал все , и обработал
источник

K

KrivdaTheTriewe in Data Engineers
Хоть на 100 машинах
источник

СХ

Старый Хрыч... in Data Engineers
😂а потом у тебя идёт фуллскан 9 тб даннызх чтобы забрать 100к записей
источник

K

KrivdaTheTriewe in Data Engineers
Мы давно поняли , что вы со спарка 1.0.й мигрируете
источник

АЖ

Андрей Жуков... in Data Engineers
ну или есть решение архитектуры, что архитектура данных не нужна
источник

СХ

Старый Хрыч... in Data Engineers
не там 2,2, но он тож тормоз на фоне тройки
источник

K

KrivdaTheTriewe in Data Engineers
Если это эдхок, то ничего страшного , тем более у вас колумар формат и датафреймы
источник