Size: a a a

Архитектура данных

2019 January 22

e

er@essbase.ru in Архитектура данных
Это для меня оч существенно
источник

PD

Phil Delgyado in Архитектура данных
Ну, меня скорее на первом TB интересует, пока Вертика тоже бесплатна.
источник

MV

Mitya Volodin in Архитектура данных
Phil Delgyado
А в сравнении с ClickHouse?
Клик очень специфичен. И очень много вещей, которые в Vertica делает сама СУБД, там придётся костылить
источник

MV

Mitya Volodin in Архитектура данных
Нет UPDATE, например, но его можно закостылить 🙂
источник

MV

Mitya Volodin in Архитектура данных
Сложно заводить модель хранения, но можно написать свои интерфейсы
источник

PD

Phil Delgyado in Архитектура данных
Это да, вот и хочется понять, а что на CH вообще нельзя делать. Update, afaik, уже добавили.
источник

PD

Phil Delgyado in Архитектура данных
На вертике тоже, по памяти, много неочевидностей...
источник

DT

Denis Troyan in Архитектура данных
Mitya Volodin
Клик очень специфичен. И очень много вещей, которые в Vertica делает сама СУБД, там придётся костылить
А ещё в клике не гарантируется уникальность данных по ключу, ибо дедупликатор работает по шедулеру)
источник

MV

Mitya Volodin in Архитектура данных
Phil Delgyado
На вертике тоже, по памяти, много неочевидностей...
Например?
источник

PD

Phil Delgyado in Архитектура данных
Разработчики очень ругались на merge, насколько помню. И сложность оптимизации запросов. Но сам я не успел поковырять (
источник

MV

Mitya Volodin in Архитектура данных
Ну если посмотреть сюда, то всё круто прям. Но потом идём в документацию по созданию таблиц, погружаемся в движки 🙂  и понимаем, что всё вроде есть, но придётся кодить всё равно
источник

MV

Mitya Volodin in Архитектура данных
UPDATE не увидел, кстати
источник

MV

Mitya Volodin in Архитектура данных
Я не берусь спорить. ClickHouse будем использовать для временных рядов в ближайшее время и хранения метрик.
Для бизнес-данных как-то пока всё-таки Vertica.
источник

PD

Phil Delgyado in Архитектура данных
Да я тоже не спорю, я как раз интересуюсь )
источник

MV

Mitya Volodin in Архитектура данных
Ну я не берусь спорить, потому что сам слабо знаком с кликом. Плюс его постоянно улучшают. Думаю, через некоторое время у нас появится опыт использования, тогда посмотрим 🙂
источник

PG

Paul Golubev in Архитектура данных
Довольно информативное выступления Яндекса на хай лоад по кх, они говорят как использовать надо, а как не надо. Сейчас уже мало помню, но кажется идеально подходит широкая плоская таблица и любые аналитические операции с ней. Тогда работает гораздо быстрее аналогов
источник

PG

Paul Golubev in Архитектура данных
Но сейчас, спустя время, может уже что и поменялось
источник

e

er@essbase.ru in Архитектура данных
Paul Golubev
Довольно информативное выступления Яндекса на хай лоад по кх, они говорят как использовать надо, а как не надо. Сейчас уже мало помню, но кажется идеально подходит широкая плоская таблица и любые аналитические операции с ней. Тогда работает гораздо быстрее аналогов
Витрина с до записью. Аха
источник
2019 January 24

e

er@essbase.ru in Архитектура данных
Каждый год Gartner публикует Magic Quadrant для различных технологий. Например, есть для BI, есть про ETL, есть про Data Platforms и тп. Раньше это было больше про Хранилища Данных, теперь сместилось к платформам, так как под разные задачи существуют разные решения (Например Redshift + Elastic Map Reduce - разные технологии и решают разные задачи, но служат для аналитики и доступны в AWS)

Каждый год с начала моей аналитической карьеры я всегда с удовольствием рассматриваю их картинки. И вот сейчас они опубликовали за 2019, где можно найти все топовые аналитические платформы (Leaders Quadrant): Snowflake, BigQuery, Dataproc, Bigtable и другие (Google), Teradata, Redshift, EMR (AWS), Azure SQL DW (Microsoft) или свежые продукты (Niche Players) - Alibab cloud (может есть чего у них, чтобы бесплатно использовать?)

Для меня это самый лучший способ посмотреть на тренды рынка и основные фичи продуктов.
источник

e

er@essbase.ru in Архитектура данных
Magic Quadrant for Data Management Solutions for Analytics
источник