@k0tb9g9m0t @lynxed

Откуда они берутся

Так боты же. Был какой-то листинг. Ну или может поиск

https://twitter.com/joe_hellerstein/status/1427055223843934209 🧐

Приветы. Вот что-то мне стало казаться что нету принципиального отличие Consistent Hashing от Range Based sharding. Пока вижу, что это очень похоже. Разница только, что где-то ноде назначается диапазон ключей, а где-то диапазон хешей. Это и есть отличие - одно работает с диапазоном ключей, а другое с диапазоном хешей. Если у нас,например, 2 ноды, то первом случае, например одной ноде будет назначен диапазон [0, MAX_VALUE/2), [MAX_VALUE/2,0) для второй. Добавляем 3ю ноду - делим один из интервалов.

а зеркалирование (репликацию) как сделать?

consistent hashing позволяет организовать не только шардирование, но и репликацию так, чтобы минимизировать перестроение кластера

а разве не будет тоже самое?. Например, если мы используем виртуальные ноды. Виртуальные ноды разбивают диапазон хэшей ключа на отрезки.  А в случае range based они будут разбивать диапазон ключа на отрезки. каждой ноде назначаем набор ее виртуальных нод. Если хотим фактор репликации M, то назначаем так , чтобы каждый range был назначен на M машин. Если машину добавили, то взяли несколько больших( а можно и произвольных) range и разделили их на 2 новых. ТОлько половинки их и будут на новой машине - опять же все минимально.

если диапазон всё время растёт вправо, что делать? половинки будут сползать, а хэши нет

Если диапазон ключей растёт все время вправо, то новые машины надо отдавать под новые ключи. То есть в этой схеме ребалансировку при  решардинге делать и не надо

да, это как бы минус. в общем случае как бы диапазон доступных значений произвольного ключа не известен не очень удобно разбивать на интервалы, а у хэша диапазон известен заранее. Но это минус, но вот получается, что принцип тат тот же. Консистентное хеширование - это модификация (улучшение) range based шардирования , где мы переходим от диапазона ключей к диапазону хешей?

Мир перевернулся. Всегда думал, что в паксосе должен быть лидер. А тут бац и есть оказывается в этом семействе EPaxos is an efficient, leaderless replication protocol. The name stands for Egalitarian Paxos -- EPaxos is based on the Paxos consensus algorithm. As such, it can tolerate up to F concurrent replica failures with 2F+1 total replicas. На любой вкус значит есть - Paxos, Multi-Paxos, EPaxos.

https://habr.com/ru/company/ncloudtech/blog/568440/

У меня вышла статья про то, как устроен кластер в нашем объектном хранилище. Буду признателен за обратную связь)

https://www.icefiredb.com/

Distributed disk storage system based on Raft and RESP protocol.

High performance
Distributed consistency
Reliable LSM disk storage
Cold and hot mixed data storage structure（Upgrading soon）
Multiple groups of raft clusters, horizontal expansion and contraction of data groups
More advanced cache implementation, faster LSM persistent storage 📃✍️🧐

https://honzaap.github.io/Systemizer/

A system design tool that allows you to simulate data flow of distributed systems.

штука интересная, но что она дает кроме красивой анимации?

там можно как то в итоге "пропускную способность" посчитать в соответствии с математикой теории систем массового обслуживания?

а "частичную деградацию" посчитать?

Нет, этого там точно нет.

если кто найдет подобную систему с нормальной симуляцией, было бы круто

Я бы сам запилил, но с теорией массового обслуживания не знаком.

Где можно глянуть про прикладное применение этой теории с позиции бекенд разработчика?