CO
Реляционка плоха для аналитики.
А чем плоха? При реляционке чище данные получается
Size: a a a
2019 July 05
PD
В CH архив будет ещё компактнее, а подключать будет проще. Не надо хранить в CSV. И нет в c3 никакой магии
PD
А чем плоха? При реляционке чище данные получается
Что значит 'чище'?
PD
Запросы с агрегацией по большим выборкам на реляционке' плохо идут. Широкие таблицы плохо получаются. Лучше или кубы или колонкоориентированные БД.
CO
Что значит 'чище'?
Например у нас 20 игр, но от клиента может приходит одно и тоже название игры как [cs, counter-strike, cs 1.6] , и что б не отобрать нужно будет постоянно писать скрипты с такими названиями игр.
Если б будет етл процесс со справочниками, в котором можно будет писать эти название с полем один ко многим типо ["game":"cs", "client_game":{cs 1.6, counter-strike, cs}]
Если б будет етл процесс со справочниками, в котором можно будет писать эти название с полем один ко многим типо ["game":"cs", "client_game":{cs 1.6, counter-strike, cs}]
CO
Запросы с агрегацией по большим выборкам на реляционке' плохо идут. Широкие таблицы плохо получаются. Лучше или кубы или колонкоориентированные БД.
Olap куб на рассмотрение, но реально всегда можно оптимизировать запрос с помощью индексов, партий
CO
В аналитики должно быть два класса, один который чуть ли не онлайн обрабатывает все // выгрузка срезов(шелф) раз в дегь
CO
Я не спорю, просто делюсь своей логикой для построения
PD
Olap куб на рассмотрение, но реально всегда можно оптимизировать запрос с помощью индексов, партий
Нет, это не так. И аналитика - про произвольные запросы, а не про отдельные оптимизированные запросы. Потому и не оракл
PD
Например у нас 20 игр, но от клиента может приходит одно и тоже название игры как [cs, counter-strike, cs 1.6] , и что б не отобрать нужно будет постоянно писать скрипты с такими названиями игр.
Если б будет етл процесс со справочниками, в котором можно будет писать эти название с полем один ко многим типо ["game":"cs", "client_game":{cs 1.6, counter-strike, cs}]
Если б будет етл процесс со справочниками, в котором можно будет писать эти название с полем один ко многим типо ["game":"cs", "client_game":{cs 1.6, counter-strike, cs}]
Это может быть etl, может быть просто логика загрузки, много вариантов
PD
В аналитики должно быть два класса, один который чуть ли не онлайн обрабатывает все // выгрузка срезов(шелф) раз в дегь
Не понял. Какие данные ждут от аналитики, кто с ней работает?
CO
Не понял. Какие данные ждут от аналитики, кто с ней работает?
Аналитики и работают, которые делают отчёты (data analyst/analyst bi) достаточно раз в день им обновить нужные таблицы и пусть себе строят отчёты.
А есть data scientists им бы лайф данные нужны для использования мл и АИ и прочей херни
А есть data scientists им бы лайф данные нужны для использования мл и АИ и прочей херни
PD
Ну, тогда Кафка тебе в помощь
VS
А что быстрее? Быстрее оракл ничего не видел )) 6лет опыта
смешно
PD
И на Кафке etl строить
VS
Ну, тогда Кафка тебе в помощь
раз в день обновлять таблицы?
VS
что за бред?
VS
кафка нужна для стриминга и ESB
VS
для батчей нужен совсем другой подход
VS
я уж молчу про гемор разработки и доставки кода для etl на кафке