Size: a a a

Архитектура данных

2018 August 26

MV

Mitya Volodin in Архитектура данных
Но естественно в каких-то ситуациях всё может быть и наоборот
источник

RK

Roman Kolchin in Архитектура данных
Mitya Volodin
Я бы Qlik не брал. Не хочу холиварить, это моё субъективное мнение, но для быстрых изменений он не подходит. Это почти классический BI (не совсем, конечно), кодить там надо на своём языке все отчёты. Если их надо поддерживать и менять - вы сильно охренеете со временем этим заниматься.

Тем более best practice, всё-таки, всё что касается данных и их трансформации - вешать на хранилище. Оно чаще мощней, чем сервак для клика
Мнение у вас разумное. Qlik это еще то "хранилище".

Но в деталях вы не совсем правы — там не отчеты кодятся, а преобразования данных и перекладка их между "таблицами" (файлами).
источник

MV

Mitya Volodin in Архитектура данных
whatever 🙂 В любом случае я понял вопрос исходный именно в части архитектуры хранилища... а клик - это уже как бы сама отчётность )
источник

MV

Mitya Volodin in Архитектура данных
Пусть и с некоторым data prep слоем
источник

RK

Roman Kolchin in Архитектура данных
Mitya Volodin
whatever 🙂 В любом случае я понял вопрос исходный именно в части архитектуры хранилища... а клик - это уже как бы сама отчётность )
Клик это комбайн 😊 Местами кривой (скрипт для ETL вместо визуализации), но полный.
источник

RK

Roman Kolchin in Архитектура данных
И не "некоторый" data prep слой, а тот который разработчик сделает своими руками 😊
источник

MV

Mitya Volodin in Архитектура данных
Хорошо, предлагаю сойтись на том, что даже для клика нужен некоторый persistent integration layer, иначе оно не выживет
источник

RK

Roman Kolchin in Архитектура данных
Mitya Volodin
Хорошо, предлагаю сойтись на том, что даже для клика нужен некоторый persistent integration layer, иначе оно не выживет
Я согласен с тем, что Qlik убог, и если хочется эффективности в масштабе, то нужно искать что-то другое.

Но вот конкретно тут, что вы подразумеваете под "persistent integration layer"?
источник

RK

Roman Kolchin in Архитектура данных
Qlik убог, но он комбайн и я советую хотя бы посмотреть на него не только как на визуализатор. Вдруг, подойдет.
источник

MV

Mitya Volodin in Архитектура данных
Ну то и подразумеваю, слой, который предоставляет устойчивую модель данных. Так, чтобы если у вас изменились источники, отчётность хотя бы не упала. Может не получала бы данные, но не упала.
Обычно эту роль играет либо детальный слой, либо уже представление витрин. В зависимости от общей архитектуры.
источник

MV

Mitya Volodin in Архитектура данных
Типичные кейсы изменения - добавление, удаление атрибутов.
источник

RK

Roman Kolchin in Архитектура данных
Mitya Volodin
Ну то и подразумеваю, слой, который предоставляет устойчивую модель данных. Так, чтобы если у вас изменились источники, отчётность хотя бы не упала. Может не получала бы данные, но не упала.
Обычно эту роль играет либо детальный слой, либо уже представление витрин. В зависимости от общей архитектуры.
Это можно сделать на клике.
источник

MV

Mitya Volodin in Архитектура данных
Это можно, но не нужно делать на клике 🙂
источник

RK

Roman Kolchin in Архитектура данных
Mitya Volodin
Это можно, но не нужно делать на клике 🙂
Зависит от масштаба.
источник

RK

Roman Kolchin in Архитектура данных
На клике это будет куча файлов-таблиц. А что вы в них положите, это ваша проблема.
источник

MV

Mitya Volodin in Архитектура данных
Нет, не зависит. Если в какой-то момент клик надоест и захочется что-то ещё, с него нельзя будет съехать из-за гигансткого легаси. Тем более параллельно использвоать несколько BI тулзов.
Там человек ещё про логи спрашивал, если есть кейс реалтайм визуализации - клик не подходит.
источник

RK

Roman Kolchin in Архитектура данных
Но вот логику связей между этими "таблицами" вам нужно будет держать где-то в голове.
источник

MV

Mitya Volodin in Архитектура данных
Ну давайте так. У меня сейчас нет, к сожалению, времени, погружаться в этот любопытный спор.

Ограничусь тем, что скажу, что я бы так никогда не сделал. Это реально опасно, с моей точки зрения.
источник

RK

Roman Kolchin in Архитектура данных
Mitya Volodin
Нет, не зависит. Если в какой-то момент клик надоест и захочется что-то ещё, с него нельзя будет съехать из-за гигансткого легаси. Тем более параллельно использвоать несколько BI тулзов.
Там человек ещё про логи спрашивал, если есть кейс реалтайм визуализации - клик не подходит.
Да-да, вы правы конечно. Qlik при любом шаге в сторону того, что на нем делать неудобно — это гиря на ногах.
источник

MV

Mitya Volodin in Архитектура данных
@essbase По исходному вопросу с логами, посмотрите на ELK связку (Elasticsearch + Logstash + Kibana)
источник