В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1922 membersпожаловаться на группу
2020 August 28

AZ

Anton Zadorozhniy in Data Engineers
Andrey Smirnov
книги 2014-2016, а значит писались еще раньше, я честно не знаю когда Чебутко опубликовал свою работу и когда они стали широко известны, хотя в 2016 когда я начинал работать с кассандрой, я уже встречал ссылки на такие диаграммы, а годом позже они стали стандартом дефакто для дизайна
о том и речь, книжки без них устарели, чтобы понимать других нужно читать свежие
источник
13:28пожаловаться#1

R

Roman in Data Engineers
Приветствую!
Коллеги, а кто - нибудь знает какие - нибудь плагины для idea для парсинга oozie workflows? Чтобы даг рисовался?
Я сделал парсинг файлов на корректность транзишенов и вообще корректность описания ворклфоу через java. Но хотелось бы какой - то механизм отображения дагов.
источник
15:47пожаловаться#2

H

Hleb in Data Engineers
у эклипса есть плагин
источник
16:10пожаловаться#3

R

Roman in Data Engineers
Hleb
у эклипса есть плагин
Да, нашёл его, вроде очень прикольно. Но вот тоько на эклипс ради этого переходить всей командой, как - то стремно.
источник
18:56пожаловаться#4

H

Hleb in Data Engineers
Можете hue поднять локально там тоже вроде есть визуалайзер oozie workflow
источник
19:00пожаловаться#5

H

Hleb in Data Engineers
для идеи я не находил такого плагина
источник
19:00пожаловаться#6

R

Roman in Data Engineers
Hleb
Можете hue поднять локально там тоже вроде есть визуалайзер oozie workflow
Норм идея. Спасибо.
источник
19:05пожаловаться#7

Ж

Жмака in Data Engineers
Почему когда я указываю left join между двумя датасетами в спарке optimized  logical plan пишет, что будет inner join?И в DAG по количеству строк вижу inner
источник
19:18пожаловаться#8

VS

Vasily Shabanov in Data Engineers
В where есть условие на правую таблицу?
источник
19:20пожаловаться#9

Ж

Жмака in Data Engineers
Условие leftDS.join(rightDS, leftDS(id) === rightDS(id), left_outer).filter(rightDS(id).isnotnull)
источник
19:22пожаловаться#10

Ж

Жмака in Data Engineers
Почему условие filter меняет его на inner?
источник
19:24пожаловаться#11

AE

Alexey Evdokimov in Data Engineers
потому что LEFT OUTER + RIGHT IS NOT NULL == INNER
источник
19:27пожаловаться#12

AE

Alexey Evdokimov in Data Engineers
ибо NULL != NULL
источник
19:27пожаловаться#13

Ж

Жмака in Data Engineers
Alexey Evdokimov
потому что LEFT OUTER + RIGHT IS NOT NULL == INNER
Точно!🤦🏻‍♂️
источник
19:29пожаловаться#14

C

Combot in Data Engineers
Добро пожаловать в самое дружелюбное комьюнити.
источник
20:02пожаловаться#15
2020 August 29

K

KrivdaTheTriewe in Data Engineers
Roman
Приветствую!
Коллеги, а кто - нибудь знает какие - нибудь плагины для idea для парсинга oozie workflows? Чтобы даг рисовался?
Я сделал парсинг файлов на корректность транзишенов и вообще корректность описания ворклфоу через java. Но хотелось бы какой - то механизм отображения дагов.
На эирфлоу переходить
источник
15:07пожаловаться#16

R

Roman in Data Engineers
KrivdaTheTriewe
На эирфлоу переходить
А чем объективно он лучше?
Там даг и там даг,
Там можно кастомные экшены писать и там.
Я немного тыкал эирфлоу, не увидел каких - то киллер фич по сравнению с узи, но может я что - то упустил.
источник
15:32пожаловаться#17

K

KrivdaTheTriewe in Data Engineers
Roman
А чем объективно он лучше?
Там даг и там даг,
Там можно кастомные экшены писать и там.
Я немного тыкал эирфлоу, не увидел каких - то киллер фич по сравнению с узи, но может я что - то упустил.
Ну тем что, проще писать под него , сразу визуализация есть из коробки, автодополнения в пайчарме и прочие плюшки
источник
15:34пожаловаться#18

K

KrivdaTheTriewe in Data Engineers
Ну и к хадупу не прибит
источник
15:34пожаловаться#19

R

Roman in Data Engineers
Потыкаю ещё раз тогда. Спасибо.
источник
15:35пожаловаться#20