В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

3187 membersпожаловаться на группу
2021 October 17

NF

Nikolai Fominykh in Data Engineers
Если историческую дату нужно прогружать регулярно - то это обычный даг. Насколько помню, в airflow можно запустить даг с параметром, когда это требуется.

Количество тасок - так себе метрика. Можно перепутать airflow с draw.io и выбрать такую единицу гранулярности, что тасок будет под миллион.
источник
15:38пожаловаться#1

AK

Aliaksandr Kokhna in Data Engineers
Когда у вас 100500 джобов и куча фактовых, которые постоянно дорабатываются, Прогрузка истории обычное дело, как прогрузить только то что нужно а не весь Даг? В аирфлоу
источник
15:41пожаловаться#2

AK

Aliaksandr Kokhna in Data Engineers
Понятно что если 100 джобов на весь етл то можно перегружать все за день по 10 раз
источник
15:43пожаловаться#3

NN

No Name in Data Engineers
Ну таски же точно можно отдельно перезапустить. Другое дело, что, наверное, если у тебя оч много джобов, и каждый день это надо делать, то это может быть неудобным, но, мне кажется, если у вас реально настолько часто происходят изменения, то у вас какая-то фигня с процессами или самими пайплайнами (но, конечно, могу ошибаться, мало ли какие особенности)
источник
15:59пожаловаться#4

AK

Aliaksandr Kokhna in Data Engineers
Ну таск отдельно можно, но нужно же и зависимости
источник
16:02пожаловаться#5

NN

No Name in Data Engineers
Ну так они по цепочке дальше пойдут сами пересчитываться
источник
16:03пожаловаться#6

AK

Aliaksandr Kokhna in Data Engineers
Ну я в принципе не верю что в етл, не нужно периодически работать с историческими данными и перегружать, не каждый день конечно, но в принципе часто я бы сказал
источник
16:04пожаловаться#7

NN

No Name in Data Engineers
Нужно, конечно, но для этого нам эйрфлоу оказалось достаточно.
источник
16:22пожаловаться#8

AK

Aliaksandr Kokhna in Data Engineers
👍
источник
16:44пожаловаться#9

ПФ

Паша Финкельштейн... in Data Engineers
Ну кажется это просто сенсорами всё делается, нет?
источник
18:22пожаловаться#10

K

KrivdaTheTriewe in Data Engineers
бекфил
источник
18:26пожаловаться#11

MM

Mikhail Mariufich in Data Engineers
А вы случайно не хотели все ваши такси в один даг положить?
источник
19:09пожаловаться#12

ПФ

Паша Финкельштейн... in Data Engineers
Кажется так и сделали. Почему-то
источник
19:34пожаловаться#13

C

Combot in Data Engineers
Emir has been banned! Reason: CAS ban.
источник
20:11пожаловаться#14

C

Combot in Data Engineers
Emir has been banned! Reason: CAS ban.
источник
20:11пожаловаться#15

A

Aleksey in Data Engineers
кмк проблема Atlas в том, что ему нужен HBase для работы (что требует достаточно громоздкой инсталляции). Ну и Data Catalog не только для бизнеса, но для ИТ.
источник
20:19пожаловаться#16

VS

Vladislav 👻 Shishkov... in Data Engineers
Атласу не нужен hbase 😳
источник
20:19пожаловаться#17

VS

Vladislav 👻 Shishkov... in Data Engineers
О блин, нужен
источник
20:20пожаловаться#18

VS

Vladislav 👻 Shishkov... in Data Engineers
Мне казалось, ему только солр нужен был
источник
20:21пожаловаться#19

A

Aleksey in Data Engineers
👍 еще и солр )) в общем тяжелый малый
источник
20:21пожаловаться#20