Size: a a a

Архитектура данных

2019 October 14

PD

Phil Delgyado in Архитектура данных
Дана
Нас как раз таки интересует именно open source базы данных  в памяти. Поэтому взяла из всего ignite, aerospike, altibase, kognitio, hazelcast
Так надо не от "какие бывают memdb" идти, а от конкретных потребностей  и задачи. Тогда сразу становится понятно, что именно нужно из всего зоопарка. И нужно ли вообще (а то иногда inmem оказываются медленнее решений со стораджем).
источник

PD

Phil Delgyado in Архитектура данных
Gennadiy Kruglov
Гриды, ignite и hazelcast - они не про запросы, они про вычисления которые можно закодить, распределить и вычислить на наборах данных, которые предварительно загрузили в память. Всё остальное - не их прямое назначение. Они пытаются впилить SQL, потому что так хотят клиенты, которые не понимают как всё это работает
Я до сих пор не смог найти вменяемого применения для ignite/hazelcast. Почти всегда проще и надежнее оказывалось поднимать независимые кэши и очереди задач.
источник

GK

Gennadiy Kruglov in Архитектура данных
Phil Delgyado
Я до сих пор не смог найти вменяемого применения для ignite/hazelcast. Почти всегда проще и надежнее оказывалось поднимать независимые кэши и очереди задач.
Вот тоже самое
источник

DT

Denis Troyan in Архитектура данных
Gennadiy Kruglov
Распределённые SQL-ные БД в памяти вряд-ли появятся в обозримом будущем, потому что мешают законы физики. Чтобы агрегировать данные нужно распределить запросы по узлам, а потом по сети собрать данные и что-то с ними сделать. А ещё нужно "поднять" данные на эти узлы и держать их консистентными
MemSQL — это разве не распределённая SQL СУБД в памяти? Пробовали?
источник

GK

Gennadiy Kruglov in Архитектура данных
Denis Troyan
MemSQL — это разве не распределённая SQL СУБД в памяти? Пробовали?
Нет, всё не перепробуешь. Она как-то позволяет игнорировать сетевые задержки и ограниченную пропускную способность сети?
источник

DT

Denis Troyan in Архитектура данных
Что такое "игнорировать сетевые задержки"?
источник

DT

Denis Troyan in Архитектура данных
Любая распределённая система подвержена сетевым задержкам?
источник

DT

Denis Troyan in Архитектура данных
MemSQL на каждой ноде держит данные в памяти, с распределением по ключу. Запросы идут на мастер-ноду, декомпозируются на запросы к нодам с данными, ноды исполняют свои запросы, возвращают промежуточные результаты на мастер, мастер доагрегирует их, и отвечает клиенту
источник

R

Roman in Архитектура данных
Любое решение в котором больше 1 сервера*
вопрос соотношения объема трафика к пропускной способности сети
источник

DT

Denis Troyan in Архитектура данных
Разумеется, коммуникация между мастером и leaf-нодами, и между мастером и клиентом идёт по сети
источник

GK

Gennadiy Kruglov in Архитектура данных
Denis Troyan
MemSQL на каждой ноде держит данные в памяти, с распределением по ключу. Запросы идут на мастер-ноду, декомпозируются на запросы к нодам с данными, ноды исполняют свои запросы, возвращают промежуточные результаты на мастер, мастер доагрегирует их, и отвечает клиенту
Ничего нового. Возвращают много данных с множества узлов по сети
источник

GK

Gennadiy Kruglov in Архитектура данных
Параллельно
источник

DT

Denis Troyan in Архитектура данных
Новое — SQL интерфейс
источник

DT

Denis Troyan in Архитектура данных
С wire-совместимостью с драйвером MySQL
источник

DT

Denis Troyan in Архитектура данных
Можно подключать биай и т.п.
источник

DT

Denis Troyan in Архитектура данных
Denis Troyan
С wire-совместимостью с драйвером MySQL
Причем, на весь crud
источник

GK

Gennadiy Kruglov in Архитектура данных
Это постановка ни о чём важном не говорит. Что за выборка? Может подойдёт колоночная база с денормализованной моделью? Если запросы не произвольные, можно построить витрину под запрос
источник

GK

Gennadiy Kruglov in Архитектура данных
Для выбора базы нужно прежде всего знать сценарии запросов и характер нагрузки.
источник

e

er@essbase.ru in Архитектура данных
Gennadiy Kruglov
Для выбора базы нужно прежде всего знать сценарии запросов и характер нагрузки.
отраслевой опыт , аха
источник

FL

Fedor Lavrentyev in Архитектура данных
Вообще непонятно, как здесь хоть как-то поможет GPU
источник