В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2634 membersпожаловаться на группу
2021 July 14

AZ

Anton Zadorozhniy in Data Engineers
тут вопрос в чем для вас принципиальное отличие, они для разного сделаны изначально, если вы развесистые пайплайны вы раньше делали на нормальном планировщике, а сейчас делаете на дженкинсе - нужно будет все функции нормального планировщика написать или как стандартную оснастку или (что хуже) оставить на совести каждого автора
источник
14:24пожаловаться#1

AZ

Anton Zadorozhniy in Data Engineers
Эйрфлоу тоже далек от совершенства тут, апишечка только-только стабилизировалась, метаданные пока тоже так себе
источник
14:25пожаловаться#2

МК

Максим Какбыпограмми... in Data Engineers
я, если честно, не так чтобы сильно много в эйрфлоу делал задач , чтоб подразумевается под функциями нормального планировщика ?
источник
14:26пожаловаться#3

AE

Alexey Evdokimov in Data Engineers
тоже интересно
источник
14:27пожаловаться#4

AE

Alexey Evdokimov in Data Engineers
что значит "нормальный планировщик"
источник
14:27пожаловаться#5

AZ

Anton Zadorozhniy in Data Engineers
бэкфил, перезапуск тасков вместо джобов целиком, ну и все интеграции (сенсоры, операторы)
источник
14:29пожаловаться#6

МК

Максим Какбыпограмми... in Data Engineers
в дженкинсе есть restart from stage , из того что вот прям сходу помню
источник
14:31пожаловаться#7

AZ

Anton Zadorozhniy in Data Engineers
источник
14:33пожаловаться#8

A

Alexander in Data Engineers
Такого в дженкинсе точно нет, только если самим на груви что-то пилить для поддержки
источник
14:35пожаловаться#9

AZ

Anton Zadorozhniy in Data Engineers
причем наверняка есть плагины для всего этого для дженкинса
источник
14:35пожаловаться#10

AZ

Anton Zadorozhniy in Data Engineers
по своему опыту могу сказать только что те клиенты которые были счастливы с дженкинсом по сути имели дженкинс глубоко внутри своего кастомного планировщика
источник
14:38пожаловаться#11

AE

Alexey Evdokimov in Data Engineers
и зачем тогда вообще дженкинс
источник
14:44пожаловаться#12

VP

Vitaly Pismarev in Data Engineers
Привет

А кто что использует для schema change management  в  хранилищах?
Актуальна ли эта штука
https://www.liquibase.org/

или есть что-то более стильное, модное и молодёжное?
Liquibase.org
Liquibase | Open Source Version Control for Your Database
Liquibase Community is an open source project that helps millions of developers rapidly track, version, and deploy database schema changes.
источник
14:46пожаловаться#13

AE

Alexey Evdokimov in Data Engineers
мы вот юзаем тимсити как запускалку для джобов, и для хранения истории (все параметры, артефакты, время выполнения, и т.п. в одном месте иметь удобно).

а всю работу делает самописный pipeline
источник
14:48пожаловаться#14

AE

Alexey Evdokimov in Data Engineers
впрочем, очередь аналитики забивают скриптами на питоне
источник
14:51пожаловаться#15

МК

Максим Какбыпограмми... in Data Engineers
а как в а эйифлоу с работой с разными репо и разделением прав доступа?
источник
14:51пожаловаться#16

АЖ

Андрей Жуков... in Data Engineers
ну дагбагов хоть 100 подключай

до уровня дага можно права разделять
источник
14:54пожаловаться#17

МК

Максим Какбыпограмми... in Data Engineers
эт хорошо
источник
14:54пожаловаться#18

АЖ

Андрей Жуков... in Data Engineers
вот с депенденси хелл ничего не помогает искаропки
источник
14:55пожаловаться#19

ЕГ

Евгений Глотов... in Data Engineers
Депенденси для сборки дага?
источник
15:14пожаловаться#20