В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1971 membersпожаловаться на группу
2020 September 14

K

KrivdaTheTriewe in Data Engineers
Nikita Blagodarnyy
Ну как, у джоба есть какие-то параметры-путь в hdfs, креды в базу, url зукиперов и т.п. Их надо как-то передавать. Стендов/окружений всяких до жопы. Вот и хочется какое-то красивое решение, чтобы это не расползалось по ямлам и args-ам
yaml файл для конфигурации
источник
18:50пожаловаться#1

DZ

Dmitry Zuev in Data Engineers
Ямлы в гите?
источник
18:51пожаловаться#2

K

KrivdaTheTriewe in Data Engineers
case class внутри джобы
источник
18:51пожаловаться#3

K

KrivdaTheTriewe in Data Engineers
мож в презу сделаем
источник
18:51пожаловаться#4

DZ

Dmitry Zuev in Data Engineers
KrivdaTheTriewe
мож в презу сделаем
Сделаем
источник
18:52пожаловаться#5

K

KrivdaTheTriewe in Data Engineers
ты тож?
источник
18:54пожаловаться#6

T

T in Data Engineers
Dmitry Zuev
А чем persist плох?
тем что у меня там оч проста джоба посути фильтр, с персистом становится медленей  потому что он с начала все пытается вычитать и запросессить, а потом начинает писать.
источник
18:54пожаловаться#7

DZ

Dmitry Zuev in Data Engineers
KrivdaTheTriewe
ты тож?
Я всегда за
источник
18:54пожаловаться#8

T

T in Data Engineers
T
тем что у меня там оч проста джоба посути фильтр, с персистом становится медленей  потому что он с начала все пытается вычитать и запросессить, а потом начинает писать.
мне тогда уже проще за писать hdfs потом копирнуть
источник
18:54пожаловаться#9

DZ

Dmitry Zuev in Data Engineers
Да зачем оптимизировать до того как возникала потребность?
источник
18:55пожаловаться#10

DZ

Dmitry Zuev in Data Engineers
Персист ок
источник
18:55пожаловаться#11

T

T in Data Engineers
Dmitry Zuev
Да зачем оптимизировать до того как возникала потребность?
А она как раз и возникла
источник
18:56пожаловаться#12

DZ

Dmitry Zuev in Data Engineers
T
мне тогда уже проще за писать hdfs потом копирнуть
Тогда думаю это не поможет
источник
18:57пожаловаться#13

N

Nikita Blagodarnyy in Data Engineers
KrivdaTheTriewe
и как это добро выглядит?
в каком смысле?
источник
19:02пожаловаться#14

K

KrivdaTheTriewe in Data Engineers
Nikita Blagodarnyy
в каком смысле?
ну как выглядит пример стриминг джобы
источник
19:07пожаловаться#15

OO

Oleksandr Olgashko in Data Engineers
а кто-то в курсе, как из cqlsh получить статус UN / UJ / DN / ... ноды?
источник
19:44пожаловаться#16

OO

Oleksandr Olgashko in Data Engineers
который в nodetool status
источник
19:45пожаловаться#17

SS

Sergey Shushkov in Data Engineers
T
А она как раз и возникла
А персист куда в память или на диск пишите?
источник
20:02пожаловаться#18

SS

Sergey Sheremeta in Data Engineers
KrivdaTheTriewe
ну как выглядит пример стриминг джобы
1) вот такой jsonnet-конфиг хранит настройки окружений и параметры для каждого пайплайна
источник
20:29пожаловаться#19

SS

Sergey Sheremeta in Data Engineers
2) при сборке артефакта генерируются json-файлы с конфигами под каждый пайплайн (из исходного jsonnet)
источник
20:31пожаловаться#20