В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1971 membersпожаловаться на группу
2020 September 14

DZ

Dmitry Zuev in Data Engineers
Sergey Sheremeta
сотни файлов? в resources
Нет, мы через ямл прокидываем.
источник
20:44пожаловаться#1

SS

Sergey Sheremeta in Data Engineers
мы тоже рядом с кодом храним сейчас, только не сотни файлов - а один jsonnet с логикой генерации той самой сотни json-чиков
источник
20:45пожаловаться#2

DZ

Dmitry Zuev in Data Engineers
Я считаю что генерация конфигов от лукавого
источник
20:45пожаловаться#3

SS

Sergey Sheremeta in Data Engineers
копи-паст более лутше?
источник
20:45пожаловаться#4

K

KrivdaTheTriewe in Data Engineers
Dmitry Zuev
Я считаю что генерация конфигов от лукавого
плюс
источник
20:45пожаловаться#5

DZ

Dmitry Zuev in Data Engineers
Ну условно если там хост ток меняется и флаг дев или прод то ок
источник
20:46пожаловаться#6

DZ

Dmitry Zuev in Data Engineers
Sergey Sheremeta
копи-паст более лутше?
Да, зато ты сразу видишь что будешь катить. А не прикидывать в голове что откуда
источник
20:46пожаловаться#7

K

KrivdaTheTriewe in Data Engineers
У нас просто один репо с дагами, другой чо спарк кодом
источник
20:47пожаловаться#8

K

KrivdaTheTriewe in Data Engineers
Парсинг одного уонфига происходит в том же репе
источник
20:47пожаловаться#9

K

KrivdaTheTriewe in Data Engineers
Я тебе покажу потом
источник
20:47пожаловаться#10

SS

Sergey Sheremeta in Data Engineers
ой, дяденьки, а можно я еще наброшу???

вы как-то делаете дата-кволити проверки внутри спарк-джобов? Deequ?
конфиги для него тоже в resources складывать?
источник
20:47пожаловаться#11

DZ

Dmitry Zuev in Data Engineers
Sergey Sheremeta
ой, дяденьки, а можно я еще наброшу???

вы как-то делаете дата-кволити проверки внутри спарк-джобов? Deequ?
конфиги для него тоже в resources складывать?
Так и делаем. Ток не в сорсы
источник
20:48пожаловаться#12

K

KrivdaTheTriewe in Data Engineers
Sergey Sheremeta
ой, дяденьки, а можно я еще наброшу???

вы как-то делаете дата-кволити проверки внутри спарк-джобов? Deequ?
конфиги для него тоже в resources складывать?
Не над в ресурсы , можно же конфиг не зашивать в джар
источник
20:48пожаловаться#13

K

KrivdaTheTriewe in Data Engineers
Деку жду когда третий спарк добавят
источник
20:48пожаловаться#14

SS

Sergey Sheremeta in Data Engineers
а мы откатились с 3-го спарка, патамушта Apache Hudi на втором... а Hudi более лутше Databricks Delta OSS
источник
20:49пожаловаться#15

K

KrivdaTheTriewe in Data Engineers
Sergey Sheremeta
а мы откатились с 3-го спарка, патамушта Apache Hudi на втором... а Hudi более лутше Databricks Delta OSS
Вы лишь затянули переход
источник
20:51пожаловаться#16

SS

Sergey Sheremeta in Data Engineers
KrivdaTheTriewe
Не над в ресурсы , можно же конфиг не зашивать в джар
а где у вас конфиги в итоге лежат?
источник
20:52пожаловаться#17

K

KrivdaTheTriewe in Data Engineers
Sergey Sheremeta
а где у вас конфиги в итоге лежат?
В гите
источник
20:52пожаловаться#18

SS

Sergey Sheremeta in Data Engineers
вот есть джарник с чистым элегантным кодом, есть параметризующие его конфиги
источник
20:52пожаловаться#19

SS

Sergey Sheremeta in Data Engineers
и когда ваш CI/CD запускает свежую сборку, то как это происходит?
источник
20:53пожаловаться#20