Size: a a a

2021 March 05

DS

Daniil Semenov in Qlik BI chat
Maxim Deviatov
Мне нравится (от безысходности) мысль, что ETL нужно иметь отдельный. Чтобы можно было разделять данные между системами-потребителями. Можно даже подумать о том чтобы Клик являлся системой для проверки качества данных.
Но, конечно, это двойная работа. Кто что думает насчет идеологии внешнего ETL?
В любом случае хранилище не помешает.
Потому что все течет, все меняется. Вы можете и от клика отказаться в дальнешем (а вдруг). Основной актив во всей этой истории всегда данные, поэтому иметь к ним доступ в любой момент и из любой системы - самое главное
источник

ЕС

Евгений Стучалкин... in Qlik BI chat
Maxim Deviatov
Есть предварительные ориентиры в какие софты смотреть?
я лично пошел шариться по udemy, в поисках курсов)
источник

DS

Daniil Semenov in Qlik BI chat
Maxim Deviatov
Есть предварительные ориентиры в какие софты смотреть?
Hadoop тот же, как пример
источник

IB

Igor Burobin in Qlik BI chat
Да не обязательно смотреть ничего. Данные Qlik в других системах можно использовать.
источник

IB

Igor Burobin in Qlik BI chat
Если нужен ETL смотрите в сторону nifi
источник

AS

Aleksey SV in Qlik BI chat
Igor Burobin
Вообще так лучше никогда не делайте) Экстеншены это темная сторона силы
да да
" у нас есть два варианта развития событий, но мы пойдем третьим"
источник

V

Valera in Qlik BI chat
Так а разве сможет обычный etl, то, что может клик?
источник

V

Valera in Qlik BI chat
Грузить переменные и тд
источник

MD

Maxim Deviatov in Qlik BI chat
Daniil Semenov
В любом случае хранилище не помешает.
Потому что все течет, все меняется. Вы можете и от клика отказаться в дальнешем (а вдруг). Основной актив во всей этой истории всегда данные, поэтому иметь к ним доступ в любой момент и из любой системы - самое главное
Дада, согласен абсолютно. Но совсем не хочется чтобы это был SQL, нравилась идея с файлами, так как нет привязки к инфраструктуре и высокая скорость загрузки. Это здорово повышает отказоустойчивость и снижает нагрузку на железо.
источник

IB

Igor Burobin in Qlik BI chat
Valera
Так а разве сможет обычный etl, то, что может клик?
nifi сможет гораздо больше
источник

V

Valera in Qlik BI chat
Igor Burobin
nifi сможет гораздо больше
Это что такое?
источник

IB

Igor Burobin in Qlik BI chat
Apache Nifi продукт называется
источник

DS

Daniil Semenov in Qlik BI chat
Valera
Так а разве сможет обычный etl, то, что может клик?
что значит обычный?)
etl - это процесс выгрузки, трансформации и складирования данных. А пишется он на разных языках, в том числе часто обсуждаемый тут python
источник

V

Valera in Qlik BI chat
Daniil Semenov
что значит обычный?)
etl - это процесс выгрузки, трансформации и складирования данных. А пишется он на разных языках, в том числе часто обсуждаемый тут python
Обычный / без движка клика
источник

V

Valera in Qlik BI chat
Python не может грузить переменные с сет анализом
источник

DS

Daniil Semenov in Qlik BI chat
Valera
Python не может грузить переменные с сет анализом
эм
источник

DS

Daniil Semenov in Qlik BI chat
это к etl отношения не имеет
источник

V

Valera in Qlik BI chat
Daniil Semenov
это к etl отношения не имеет
Лол что
источник

IB

Igor Burobin in Qlik BI chat
во первых в nifi там есть массово параллельная обработка данных, во вторых процессоры писать можно свои
источник

MD

Maxim Deviatov in Qlik BI chat
Valera
Лол что
переменные не при чем
источник