В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1922 membersпожаловаться на группу
2020 August 29

A

Alex in Data Engineers
Это что мне сильно в эйрфлоу не нравится:
Или ты запекаешь образ под каждый ран и запускаешь в кубике
Или рукожопство при попытке использовать целери, доставка кода на выполнение никак толком не прописана, думай сам
источник
16:22пожаловаться#1

K

KrivdaTheTriewe in Data Engineers
Мы пускаем все в контейнерах
источник
16:23пожаловаться#2

K

KrivdaTheTriewe in Data Engineers
Почти
источник
16:23пожаловаться#3

K

KrivdaTheTriewe in Data Engineers
Ну то есть доставка кода с контейнером идёт
источник
16:23пожаловаться#4

A

Alex in Data Engineers
Так как образов вагон, то у нас есть лимит на N последних образов в репозитории, поэтому начинается веселье с треком их
источник
16:23пожаловаться#5

A

Alex in Data Engineers
Особенно в части тех которые заскедулены  и выполняются периодически =/
источник
16:24пожаловаться#6

K

KrivdaTheTriewe in Data Engineers
Вообще интересно , как дальше развиваться, у нас свой внутренний фреймворк декларативный на ямле с бизнесспецифичными таскраннерами
источник
16:25пожаловаться#7

K

KrivdaTheTriewe in Data Engineers
Но мы пока развиваем в меру своих возможностей, когда нибудь быть может визуализацию прикрутим
источник
16:25пожаловаться#8

K

KrivdaTheTriewe in Data Engineers
Alex
Особенно в части тех которые заскедулены  и выполняются периодически =/
Можно в ci добавить тест конфигурации
источник
16:26пожаловаться#9

K

KrivdaTheTriewe in Data Engineers
Образ где то же у вас Записан
источник
16:26пожаловаться#10

K

KrivdaTheTriewe in Data Engineers
Если есть устаревание , периодический ран ci на прод конфиг
источник
16:26пожаловаться#11

AZ

Anton Zadorozhniy in Data Engineers
Эйрфлоу неплохо в облаке, где нет персистентных кластеров, но в плане дизайна это конечно так себе
источник
16:27пожаловаться#12

A

Alex in Data Engineers
Вот мы с узи для датасатанистов слазим, он остаётся как даспределенный скедулер, а внутри датабанд для управления дагом

Смотрели эйрфлоу, но его скейлить на сотню датасатанистов как-то кривинько выглядит
источник
16:27пожаловаться#13

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
Эйрфлоу неплохо в облаке, где нет персистентных кластеров, но в плане дизайна это конечно так себе
Cmd не купить :)
источник
16:27пожаловаться#14

K

KrivdaTheTriewe in Data Engineers
Alex
Вот мы с узи для датасатанистов слазим, он остаётся как даспределенный скедулер, а внутри датабанд для управления дагом

Смотрели эйрфлоу, но его скейлить на сотню датасатанистов как-то кривинько выглядит
Так скейлите приложения
источник
16:27пожаловаться#15

K

KrivdaTheTriewe in Data Engineers
А не скедулер
источник
16:28пожаловаться#16

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
А не скедулер
Это в смысле запрещать больше Х дагов делать разработчикам?
источник
16:29пожаловаться#17

A

Alex in Data Engineers
KrivdaTheTriewe
Если есть устаревание , периодический ран ci на прод конфиг
Вот тут и возникает вопрос трека этих конфигов, если много команд и каждый что-то запускает, причём сделано упрощение чтобы можно было набросать свой скрипт и просто сказать blabla schedule.... То иногда интересные артефакты вызалат "вы бля нашу систему еще и так используете????? О_о"
источник
16:29пожаловаться#18

A

Alex in Data Engineers
KrivdaTheTriewe
Так скейлите приложения
Что значит приложения? В узи висит 2.5к запланированных задач :)
источник
16:30пожаловаться#19

K

KrivdaTheTriewe in Data Engineers
Alex
Вот тут и возникает вопрос трека этих конфигов, если много команд и каждый что-то запускает, причём сделано упрощение чтобы можно было набросать свой скрипт и просто сказать blabla schedule.... То иногда интересные артефакты вызалат "вы бля нашу систему еще и так используете????? О_о"
Ну потестировать можно на отдельном эирфлоу, подымать его локально , запускать в кубике
источник
16:30пожаловаться#20