Телеграмм чат группы hadoopusers страница 2862

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2007 membersпожаловаться на группу

2020 October 13

SS

Sergey Sheremeta in Data Engineers

у меня тоже вопрос к настоящим дата-инженерам в чате:
а как вы увязываете разные git-репы своих пайплайнов?
например, у меня есть пайп, который задействует NiFi + Spark Streamig или Airflow + Spark репозитории.

источник

11:42пожаловаться #1

DZ

Dmitry Zuev in Data Engineers

Монорепа

источник

11:42пожаловаться #2

SS

Sergey Sheremeta in Data Engineers

Монорепа

ты хитрый

источник

11:43пожаловаться #3

DZ

Dmitry Zuev in Data Engineers

Опыт

источник

11:43пожаловаться #4

SS

Sergey Sheremeta in Data Engineers

ну ладно, буду склонять команду к групповушке!
спасибо

источник

11:44пожаловаться #5

SS

Sergey Sheremeta in Data Engineers

а чо с Худи/Айсбергом? плохо набросил? давайте посремся

источник

11:45пожаловаться #6

AN

Andrew Nasonov in Data Engineers

Если про репозитории, вопрос попримитивнее,подскажите, пожалуйста. Допустим, я написал скала-класс, который берет конфиги, и делает определенную операцию над таблицами с произвольных источников и пишет в табличку в хайв, например. И теперь этот класс мне нужно заюзать в куче разных проектов. Меняться будут только конфиги. Как это лучше задеплоить в тот же кубер?

источник

11:46пожаловаться #7

DZ

Dmitry Zuev in Data Engineers

Ну либо через пакет в нексусе, либо через монорепу/сабмодуль

источник

11:48пожаловаться #8

SS

Sergey Sheremeta in Data Engineers

и сразу вопрос - где конфиги хранить?

источник

11:49пожаловаться #9

DZ

Dmitry Zuev in Data Engineers

В репе

источник

11:50пожаловаться #10

AZ

Anton Zadorozhniy in Data Engineers

Sergey Sheremeta

а чо с Худи/Айсбергом? плохо набросил? давайте посремся

так себе, без фактуры

источник

11:51пожаловаться #11

DZ

Dmitry Zuev in Data Engineers

В репе

источник

11:52пожаловаться #12

SS

Sergey Sheremeta in Data Engineers

я только Худи щупаю, вот и хочу понять чего такого крутого в Айсберге

источник

11:52пожаловаться #13

SS

Sergey Sheremeta in Data Engineers

однозначно Hoodie лучше DeltaLake OSS - как минимум из-за Merge-On-Read таблиц и поддержки глобальных индексов в Hbase/Cassandra (связь между первичным ключем данных и каталога партиции/субпартиции/субсубпартиции/бакета)

источник

11:54пожаловаться #14

AZ

Anton Zadorozhniy in Data Engineers

не высокая планка, Delta OSS это вообще диверсия (они почему-то стесняются написать что это просто стаб для локального тестирования)

источник

12:01пожаловаться #15

UD

Uncel Duk in Data Engineers

Покормлю

источник

12:04пожаловаться #16

UD

Uncel Duk in Data Engineers

А кто-то имел опыт поддержки своего форка хайва например

источник

12:05пожаловаться #17

UD

Uncel Duk in Data Engineers

За две недели очень поел говна с ним и тезом, баги в джире есть 3+ года, на некоторые дажи патчи есть

источник

12:06пожаловаться #18

AZ

Anton Zadorozhniy in Data Engineers

А кто-то имел опыт поддержки своего форка хайва например

у нас даж свой дистрибутив целый был

источник

12:18пожаловаться #19

UD

Uncel Duk in Data Engineers

Anton Zadorozhniy

у нас даж свой дистрибутив целый был

А какие затраты? В людях например

источник

12:19пожаловаться #20