Size: a a a

2021 March 30

N

Nikita Blagodarnyy in Data Engineers
Ну сделай КопиТейбл не мучайся
источник

N

Nikita Blagodarnyy in Data Engineers
сколько там петабайт у тебя
источник

S

Stanislav in Data Engineers
Nikita Blagodarnyy
Ну сделай КопиТейбл не мучайся
4 час идёт. Там перекос уродский :(
источник

N

Nikita Blagodarnyy in Data Engineers
Stanislav
4 час идёт. Там перекос уродский :(
торопыга какой
источник

N

Nikita Blagodarnyy in Data Engineers
я один раз пропущу 15 минутный инкремент в кэше-потом 11 часов гэпозакрывальщик его высканивает
источник

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
@@dartov а есть какие нибудь общие рекомендации по деплойменту престо по железу, и как оно сильно от иопсов рандомныз зависит
он зависит от того как у вас источники работают, кроме spill to disk оно диски не использует
источник

AZ

Anton Zadorozhniy in Data Engineers
источник

AZ

Anton Zadorozhniy in Data Engineers
проще всего не использовать spill to disk вообще, просто взять больше машин с большим объемом памяти
источник

AZ

Anton Zadorozhniy in Data Engineers
(в облаке или на кубере, если баре-метал - то страдать, но это обычная история для он-према, все привыкли)
источник

AB

Alexander Batyrshin in Data Engineers
Stanislav
А подскажите по фениксу. Делаю хбейз снепшот текущей таблицы феникса, создаю из него хбейз таблицу, вешаю сверху вью(или таблицу феникса), во всех ключевых полях значения есть, все колонки пустые. Хотя через хбейз все колонки заполненные, снепшот восстановлен верно и целиком.
CREATE …. COLUMN_ENCODED_BYTES = NONE;
источник

N

Nikolay in Data Engineers
Кто работал с Amazon Aurora.
Поделитесь с чем там проблемы обычно возникают.
Вопрос из любопытства. Интересная у них
архитектура без checkpoints и т.п, когда page формируется по запросу.
источник

K

KrivdaTheTriewe in Data Engineers
Ребят, ни у кого сборки спарка 3.1 нет с хайвом первой версии?
источник

ME

Mikhail Epikhin in Data Engineers
KrivdaTheTriewe
Ребят, ни у кого сборки спарка 3.1 нет с хайвом первой версии?
Wat?:)
источник

ME

Mikhail Epikhin in Data Engineers
Зачем так?:)
источник

K

KrivdaTheTriewe in Data Engineers
Ну есть старый хайв клаудеровский,он на ветке 1 живет, со вторым не совместимс
источник

ME

Mikhail Epikhin in Data Engineers
KrivdaTheTriewe
Ну есть старый хайв клаудеровский,он на ветке 1 живет, со вторым не совместимс
Ну собирать надо, изотерический билд будет:)
источник

K

KrivdaTheTriewe in Data Engineers
Mikhail Epikhin
Ну собирать надо, изотерический билд будет:)
Поясни пожалуйста
источник

AZ

Anton Zadorozhniy in Data Engineers
Зашимить мб что-то придётся, я не уверен что прям тупо со старой зависимостью соберётся
источник

ME

Mikhail Epikhin in Data Engineers
Anton Zadorozhniy
Зашимить мб что-то придётся, я не уверен что прям тупо со старой зависимостью соберётся
Ну вот это и имею ввиду, патчи надо будет накладывать
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
Зашимить мб что-то придётся, я не уверен что прям тупо со старой зависимостью соберётся
Третий спарк короч депрекейтнул,но сборка офицальная была, кстати
источник