Size: a a a

2020 December 09

R

Rodion in Data Engineers
Nikita Bakanchev
так как на маленькой выборке у тебя сформируются ошибочные зависимости
Ага. Но мб зависимости потом ручками поотрезать как вариант?
источник

R

Rodion in Data Engineers
Nikita Bakanchev
если я правильно понимаю задачу, что у тебя на входе набор атрибутов (a1, .., an), а ты хочешь преобразовать это в набор сущностей (ak1, ak2, ak3)... (an1 an2) и т.п. в 3НФ
Да
источник

NB

Nikita Bakanchev in Data Engineers
Rodion
Ага. Но мб зависимости потом ручками поотрезать как вариант?
ну эволюция схемы еще сложней реализуется мне кажется )
источник

NB

Nikita Bakanchev in Data Engineers
это же она и есть
источник

R

Rodion in Data Engineers
Иэх, не жить мне хорошо(
источник

NB

Nikita Bakanchev in Data Engineers
Но может быть кто-то подскажет готовый тул
источник

Б

Борис in Data Engineers
Подскажите кто сталкивался пытаюсь запустить nifi на ubuntu. Установил java. По команде #echo $JAVA_HOME показывает путь до java, но nifi при запуске в java home показывает пустой путь. Надо что то поправить в файлах nifi, если да то что?
источник

AZ

Anton Zadorozhniy in Data Engineers
Я помню этот пейпер, но там все построено на довольно arbitrary метриках для оценки связей и эвристиках, кмк применимость этого для загрузки модели в базу для юзеров сомнительная, это же для сжатия делается
источник

AZ

Anton Zadorozhniy in Data Engineers
Rodion
Иэх, не жить мне хорошо(
А какая цель, вы хотите детальный слой хранилища построить и лить туда потом дельты? Все пейперы на эту тему на сжатие ориентированы вроде
источник

R

Rodion in Data Engineers
Anton Zadorozhniy
А какая цель, вы хотите детальный слой хранилища построить и лить туда потом дельты? Все пейперы на эту тему на сжатие ориентированы вроде
Леплю инструмент для преобразования данных, сжимать не очень хочу, вертеть крутить скорее
источник

R

Rodion in Data Engineers
Доставать связи сущностей из таблиц быстро, визуализировать их.
источник

AZ

Anton Zadorozhniy in Data Engineers
Rodion
Леплю инструмент для преобразования данных, сжимать не очень хочу, вертеть крутить скорее
Просто если у вас в след файле от этого источника прилетят новые колонки с какими-то очень сильными связями и перекроят всю схему - чего делать?
источник

N

Nikita Blagodarnyy in Data Engineers
Борис
Подскажите кто сталкивался пытаюсь запустить nifi на ubuntu. Установил java. По команде #echo $JAVA_HOME показывает путь до java, но nifi при запуске в java home показывает пустой путь. Надо что то поправить в файлах nifi, если да то что?
Что значит «NiFi при запуске показывает»? От какого юзера он запускается? От того же, у которого JAVA_HOME не пустой?
источник

Б

Борис in Data Engineers
Nikita Blagodarnyy
Что значит «NiFi при запуске показывает»? От какого юзера он запускается? От того же, у которого JAVA_HOME не пустой?
В консоли пишет когда ввожу команду nifi.sh start выводит  java home: (тут пусто, а должен быть путь)
источник

N

Nikita Blagodarnyy in Data Engineers
а че там в nifi.sh? нету ничего типа sudo -u nifi ? или какого-то хитрого переопределения JAVA_HOME?
источник

Б

Борис in Data Engineers
Nikita Blagodarnyy
а че там в nifi.sh? нету ничего типа sudo -u nifi ? или какого-то хитрого переопределения JAVA_HOME?
Вот я и не знаю, только начал в этом всём разбираться
источник

S

SeniorAnykey in Data Engineers
Борис
Вот я и не знаю, только начал в этом всём разбираться
Ну впиши туда
export JAVA_HOME=/path/to/java
И посмотри что будет
источник

AT

Al T in Data Engineers
источник

AT

Al T in Data Engineers
все по контейнерам разложим теперь
источник

AT

Al T in Data Engineers
хадупчик можно не учить ))
источник