Size: a a a

2020 September 24

AZ

Anton Zadorozhniy in Data Engineers
Nikita Blagodarnyy
я правда так и не нашел где скачать без регистрации и смс
там же где emr
источник

N

Nikita Blagodarnyy in Data Engineers
Anton Zadorozhniy
там же где emr
они обещали заопенсорсить свою сборку сбердуп. типа клоудера плохая и старая, сейчас мы туда напихаем стейтофзеарт
источник

AZ

Anton Zadorozhniy in Data Engineers
Nikita Blagodarnyy
они обещали заопенсорсить свою сборку сбердуп. типа клоудера плохая и старая, сейчас мы туда напихаем стейтофзеарт
а, эт новое, я не слышал про ОСС
источник

AE

Alexey Evdokimov in Data Engineers
Nikita Blagodarnyy
я правда так и не нашел где скачать без регистрации и смс
а зачем скачивать, если оно есть hosted
источник

A

Anton Kovalenko in Data Engineers
Victor Mikhaylov
Концепция осталась та же, только мы стали повышать версии быстрее бигтопа
Так что теперь там должен быть 3 спарк
Если документация не врёт, то  версия спарка - 2.3.2
источник

A

Anton Kovalenko in Data Engineers
источник

AG

Alexander Gorokhov in Data Engineers
Коллеги а как вы работаете со всякими дата алертами, типа, выросло количество нуллов на 100500%. Какие инструменты и каналы используете для доставки такой информации?
источник

AG

Alexander Gorokhov in Data Engineers
Или, партнёр проебал sla и данные не приехали когда должны были быть. Нужно же как то уведомить кого надо. Как?
источник

AG

Alexander Gorokhov in Data Engineers
Пока на коленке сделали доставку в слак но это не серьёзно
источник
2020 September 25

OA

Oleksandr Averchenko in Data Engineers
Alexander Gorokhov
Коллеги а как вы работаете со всякими дата алертами, типа, выросло количество нуллов на 100500%. Какие инструменты и каналы используете для доставки такой информации?
Джоба с процедурой. Которая вызывает процедуру отправки мейла с агрегированной статистикой.
источник

OA

Oleksandr Averchenko in Data Engineers
источник

N

Nikita Blagodarnyy in Data Engineers
Alexander Gorokhov
Коллеги а как вы работаете со всякими дата алертами, типа, выросло количество нуллов на 100500%. Какие инструменты и каналы используете для доставки такой информации?
airflow считает и шлет в слак. метрики в PG пишет
источник

ME

Max Efremov in Data Engineers
Alexander Gorokhov
Пока на коленке сделали доставку в слак но это не серьёзно
Слак, емейлы и система пейджеров для дежурных
источник

ME

Max Efremov in Data Engineers
Пока первые два, для дежурных в планах
источник

N

Nikita Blagodarnyy in Data Engineers
Alexander Gorokhov
Пока на коленке сделали доставку в слак но это не серьёзно
ну настрой кастомный алерт в промитиус через Pushgateway. будешь девопс 300 к/сек
источник

OA

Oleksandr Averchenko in Data Engineers
А вообще в проектах где некуда было девать деньги прекрутили коллибру с дашбордами и посадили фолоу зе сан сапорт сторожить.
источник

ME

Max Efremov in Data Engineers
Если клауд-вей, то можно sns настроить, будет смс приходить)
источник

АБ

Александр Булатов... in Data Engineers
Наркоманский вопрос:
Если создать hive-таблицу со свойством 'transactional_properties'='insert_only', то будет ли запись в таблицу работать быстрее или только будет ограничение на CRUD?
источник

AZ

Anton Zadorozhniy in Data Engineers
Alexander Gorokhov
Пока на коленке сделали доставку в слак но это не серьёзно
можно еще тикеты автоматически в джире заводить, это очень серьезно
источник

AG

Alexander Gorokhov in Data Engineers
Просто хочется что-то лучше чем имейлы которые будут спамить инбокс и слак канал который все замьютят. Что-то с удобной настройкой получателей, чтобы можно было видеть предыдущие похожие алерты, какие то теги и всякие графики появления ивента по времени
источник