В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1971 membersпожаловаться на группу
2020 September 25

ПФ

Паша Финкельштейн... in Data Engineers
Renarde
правда с дата инженерингом мы натолкнулись на логическую проблему.
Вот допустим у нас есть батч-джоб который бегает по ночам, джоб начинается в 3 ночи, SLA на доставку данных - 6 утра. Во сколько нужно алертить инженера, если джоб работает, но не заканчивается к 6 утра? А главное - какой смысл такого алерта, если он прилетает в 4 утра - за два часа переподнять джоб?
Мы в таких случаях просто писали на почту. Ну потому что уже явно не успеешь решить в sla, будешь решать днём
источник
11:56пожаловаться#1

AS

Andrey Smirnov in Data Engineers
Renarde
правда с дата инженерингом мы натолкнулись на логическую проблему.
Вот допустим у нас есть батч-джоб который бегает по ночам, джоб начинается в 3 ночи, SLA на доставку данных - 6 утра. Во сколько нужно алертить инженера, если джоб работает, но не заканчивается к 6 утра? А главное - какой смысл такого алерта, если он прилетает в 4 утра - за два часа переподнять джоб?
разбивать на подзадачи и их мониторить?
источник
11:59пожаловаться#2

AZ

Anton Zadorozhniy in Data Engineers
Andrey Smirnov
разбивать на подзадачи и их мониторить?
Часто один большой запрос быстрее отработает чем последовательность мелких (а если параллель - это ещё сложность оркестрации)
источник
12:07пожаловаться#3

AS

Andrey Smirnov in Data Engineers
Anton Zadorozhniy
Часто один большой запрос быстрее отработает чем последовательность мелких (а если параллель - это ещё сложность оркестрации)
ну да, но зато если что-то пошло не так, ты об этом раньше узнаешь, tradeoff
источник
12:12пожаловаться#4

E

El-Yaz in Data Engineers
Anton Zadorozhniy
Часто один большой запрос быстрее отработает чем последовательность мелких (а если параллель - это ещё сложность оркестрации)
Дебажить проще, покрывать тестами проще
источник
12:13пожаловаться#5

AZ

Anton Zadorozhniy in Data Engineers
Andrey Smirnov
ну да, но зато если что-то пошло не так, ты об этом раньше узнаешь, tradeoff
Почему, план же видно, метрики по шагам, можно понять что не так раньше
источник
12:13пожаловаться#6

AS

Andrey Smirnov in Data Engineers
Anton Zadorozhniy
Почему, план же видно, метрики по шагам, можно понять что не так раньше
это если все более-менее равномерно, а если то густо-то пусто сложно будет метрики по шагам выставить (например появился skewed), задача на 98% выполнена, а оставшиеся 2% будут идти как пройденные 98%
источник
12:17пожаловаться#7

AZ

Anton Zadorozhniy in Data Engineers
Andrey Smirnov
это если все более-менее равномерно, а если то густо-то пусто сложно будет метрики по шагам выставить (например появился skewed), задача на 98% выполнена, а оставшиеся 2% будут идти как пройденные 98%
Это справедливо и для мелких джобов, а рекавери чаще всего - начать все сначала
источник
12:20пожаловаться#8

AZ

Anton Zadorozhniy in Data Engineers
Другое дело если оптимизатор так себе и квас нет доступа к плану онлайн
источник
12:21пожаловаться#9

AZ

Anton Zadorozhniy in Data Engineers
El-Yaz
Дебажить проще, покрывать тестами проще
Смотря какой подход, если запросы пишутся руками - то удобнее держать мелкие джобы; если ДСЛ или кодогенератор из метаданных то скорее всего есть тесты генератора, дсл и уже е2е для самих джобов
источник
12:32пожаловаться#10

PK

Pavel Klemenkov in Data Engineers
Переслано от Pavel Klemenkov
Moscow Spark #10 быть! https://moscowspark.timepad.ru/event/1440202/
moscowspark.timepad.ru
Moscow Spark #10 / События на TimePad.ru
Всем привет! Удивительное дело, но с момента прошлого Moscow Spark прошел уже почти год. Я все никак не хотел принимать онлайн-реальность для нашего уютного митапчика, но обстоятельства берут свое. В общем, мы проведем юбилейный Moscow Spark #10 онлайн.


Помимо нового формата, у нас есть еще новиночка — зарубежные спикеры. Так что подключайтесь, слушайте и задавайте вопросы. Первые 100 зарегистрировавшихся получат возможность присоединиться к Zoom, остальных мы с радостью пригласим на YouTube-трансляцию и afterparty в SpatialChat.
источник
15:46пожаловаться#11

GP

Grigory Pomadchin in Data Engineers
‼️Самое важное в Data Engineers Group‼️

🔹 Moscow Spark #10 быть (в онлайне)! https://moscowspark.timepad.ru/event/1440202/ @pklemenkov для связи
🔹 DE or DIE #4  https://t.me/hadoopusers/65923
🔹 SmartData 2020 CFP https://smartdataconf.ru/callforpapers/ cc @asm0dey
moscowspark.timepad.ru
Moscow Spark #10 / События на TimePad.ru
Всем привет! Удивительное дело, но с момента прошлого Moscow Spark прошел уже почти год. Я все никак не хотел принимать онлайн-реальность для нашего уютного митапчика, но обстоятельства берут свое. В общем, мы проведем юбилейный Moscow Spark #10 онлайн.


Помимо нового формата, у нас есть еще новиночка — зарубежные спикеры. Так что подключайтесь, слушайте и задавайте вопросы. Первые 100 зарегистрировавшихся получат возможность присоединиться к Zoom, остальных мы с радостью пригласим на YouTube-трансляцию и afterparty в SpatialChat.
источник
15:58пожаловаться#12

ЕГ

Евгений Глотов... in Data Engineers
Alexander Gorokhov
Просто хочется что-то лучше чем имейлы которые будут спамить инбокс и слак канал который все замьютят. Что-то с удобной настройкой получателей, чтобы можно было видеть предыдущие похожие алерты, какие то теги и всякие графики появления ивента по времени
Чтобы присылать сообщения тому, кому они реально важны, нужно организовать сбор метаданных об использовании тех или иных таблиц/папок с данными, тогда можно будет кинуть алерт пользователю данных, что его процесс завтра не посчитается, например
источник
16:15пожаловаться#13

AV

Alexandr Vladimirovi... in Data Engineers
Всем привет, подскажите CDH с версии 6.3.3 стала полностью коммерческой? А то на сайте я так понимаю без подписки ее скачать нельзя
Что сейчас есть из свободно распространяемых сборок Hadoop кроме ванили?
источник
19:35пожаловаться#14

N

Nikita Blagodarnyy in Data Engineers
Alexandr Vladimirovich
Всем привет, подскажите CDH с версии 6.3.3 стала полностью коммерческой? А то на сайте я так понимаю без подписки ее скачать нельзя
Что сейчас есть из свободно распространяемых сборок Hadoop кроме ванили?
аренадата
источник
19:45пожаловаться#15

AV

Alexandr Vladimirovi... in Data Engineers
Nikita Blagodarnyy
аренадата
а в чем их сборка отличается от ванили? Они там делают свои фиксы различных багов?
источник
19:46пожаловаться#16

N

Nikita Blagodarnyy in Data Engineers
хдп можно самому собрать из исходников вроде. бинарей нету.
источник
19:46пожаловаться#17

AV

Alexandr Vladimirovi... in Data Engineers
Nikita Blagodarnyy
хдп можно самому собрать из исходников вроде. бинарей нету.
имеете ввиду отсюда? https://github.com/cloudera
GitHub
Cloudera
Cloudera has 118 repositories available. Follow their code on GitHub.
источник
19:47пожаловаться#18

N

Nikita Blagodarnyy in Data Engineers
Alexandr Vladimirovich
а в чем их сборка отличается от ванили? Они там делают свои фиксы различных багов?
Тем, что это сборка. Вы же не можете пойти скачать Apache Data Platform 2.7.3.
источник
19:49пожаловаться#19

E

Evgeny in Data Engineers
аренадата собирает bigtop
источник
19:50пожаловаться#20