AD
Про ретраи тоже надо понимать - это ретраи обработки чего именно?
На уровне таски (оператора)
Size: a a a
2021 February 10
AD
Например для того, чтобы понять когда завершится обработка
Опять же, нотифай последним элементом пайплайна
T
Вот один объект от начала и до конца цепочки допустим обрабтывается за 15 минут. Надо как минимум понимать, он уже в обработке каким-нибдуь оператором или нет
T
Дальше, а что будет если во время работы дага, я запущу его ещё раз?
AD
Можно на каждом этапе дергать оператор отправки уведомлений, если очень хочется. Или вообще подключить логгер и пушить всё в какой-то канал
T
ну то есть самому в БД хранить статусы всех шагов дага
AD
Дальше, а что будет если во время работы дага, я запущу его ещё раз?
Так сделать не получится
T
Так сделать не получится
ну так вот вопрос
T
у меня 15 минут обрабаытвается что-то. Прилетели новые данные в это время, я хочу их сразу запланивроать в обрабокту
T
параллелизация и все такое
AD
ну то есть самому в БД хранить статусы всех шагов дага
Они и так хранятся в мета-бд эирфлоу. Если хотите куда то получать уведомления — сделайте оператор отправки
T
Они и так хранятся в мета-бд эирфлоу. Если хотите куда то получать уведомления — сделайте оператор отправки
так а как то, что там хранится, связать с моим объектом?
AD
так а как то, что там хранится, связать с моим объектом?
Решение, которое мне кажется правильным, не подразумевает отдельных тасков под каждый объект, да и это оверкилл. Если хотите как-то распараллелить этот процесс, нужно будет, чтобы даг внутри себя как-то оркестрировался
AD
Но по-моему так не делают
AD
Можете сделать таски или даги, поделив куски опрашиваемой системы логически — например, каждый таск — своя схема в базе
T
а как? у меня обработка одного объекта занимает 15 минут. Если я внутри шага сделать какую-то логику обработки нескольких объектов за раз, я только потеряю возможность параллелизации, профита не будет. Каждый объект все так же 15 минут будет, только при фейле, все разом будет ретраиться и нельзя несколько копий запустить
AD
В теории можно сделать даг-оркестратор, который будет формировать другие даги, опросив систему
AD
Но я так не делал и не уверен, что это возможно
T
Ух, чую я просто напишу свой пайплайн на очередях без эйрфлоу
АК
@Tishka17 о, а ты тот самый Tishka17, жабиру?